[論文レビュー] Prediction Error Meta Classification in Semantic Segmentation: Detection via Aggregated Dispersion Measures of Softmax Probabilities

Matthias Rottmann, Pascal Colling+5 more|arXiv (Cornell University)|Nov 1, 2018

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文では、ソフトマックス確率の集約分散測度（エントロピー、確率差など）を用いて、セマンティックセグメンテーション出力内の個々のセグメントが正例と交差するかどうかを予測するメタ分類フレームワークを提案する。これらの指標にセグメントサイズと予測クラスを組み合わせることで、IoU=0 対 IoU>0 セグメントの検出において最大 91.55% の AUROC を達成し、セグメント単位の IoU を予測する際には最大 84.15% の R² を達成し、標準的手法を上回る性能を示した。

ABSTRACT

We present a method that "meta" classifies whether seg-ments predicted by a semantic segmentation neural networkintersect with the ground truth. For this purpose, we employ measures of dispersion for predicted pixel-wise class probability distributions, like classification entropy, that yield heat maps of the input scene's size. We aggregate these dispersion measures segment-wise and derive metrics that are well-correlated with the segment-wise IoU of prediction and ground truth. This procedure yields an almost plug and play post-processing tool to rate the prediction quality of semantic segmentation networks on segment level. This is especially relevant for monitoring neural networks in online applications like automated driving or medical imaging where reliability is of utmost importance. In our tests, we use publicly available state-of-the-art networks trained on the Cityscapes dataset and the BraTS2017 dataset and analyze the predictive power of different metrics as well as different sets of metrics. To this end, we compute logistic LASSO regression fits for the task of classifying IoU=0 vs. IoU>0 per segment and obtain AUROC values of up to 91.55%. We complement these tests with linear regression fits to predict the segment-wise IoU and obtain prediction standard deviations of down to 0.130 as well as $R^2$ values of up to 84.15%. We show that these results clearly outperform standard approaches.

研究の動機と目的

• 個々のセグメントの信頼性を評価するためのプラグアンドプレイ型後処理ツールの開発を目的とする。
• 予測セグメントが正例と交差するかどうかを特定すること、特に自動運転や医療画像診断などの安全が重要な応用分野を対象とする。
• ソフトマックス出力から導出される分散ベースの指標の予測能力が、セグメント単位の信頼性推定にどの程度有効であるかを評価すること。
• セマンティックセグメンテーションにおけるピクセル単位の不確実性測度のベンチマークを提供するフレームワークを構築すること。
• ピクセル単位の不確実性ではなく、セグメント単位の信頼性に焦点を当てることで、標準的な不確実性評価手法を改善すること。

提案手法

• 本手法は、ソフトマックス出力確率に対してピクセル単位の分散測度（分類エントロピー、確率差など）を計算し、不確実性ヒートマップを生成する。
• これらのヒートマップは個々の予測セグメントに集約され、エントロピー、確率スプレッド、セグメントサイズ、予測クラスといったセグメント固有の指標が得られる。
• 集約された指標をロジスティック LASSO レグレッションの入力特徴量として用い、セグメントの IoU がゼロか正かをメタ分類する。
• 線形回帰モデルも、同じ集約指標を入力として用い、実際のセグメント単位の IoU を予測するように訓練する。
• 分割された予測による問題を軽減するために、調整済み IoU（IoU_adj）という新たな指標を導入し、正例の断片化に強い耐性を向上させる。
• フレームワークは、最先端のネットワークを用いて Cityscapes および BraTS2017 で評価され、すべての手法がソフトマックス出力と正例に依存している。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックス確率の集約分散測度は、予測セグメントが正例と交差するかどうかを信頼性高く予測できるか？
• RQ2 特に分割された予測のような困難な状況下でも、これらの指標は実際のセグメント単位の IoU とどの程度相関しているか？
• RQ3 本手法は、二値分類（IoU=0 対 IoU>0）と回帰（IoU 値の予測）の両方のタスクで高い性能を達成できるか？
• RQ4 調整済み IoU（IoU_adj）指標を用いることで、標準的な IoU に比べてセグメントレベルの信頼性推定において性能が向上するか？
• RQ5 本手法は、セマンティックセグメンテーションにおける新しいピクセル単位の不確実性測度の評価や比較にどの程度応用可能か？

主な発見

• ロジスティック LASSO レグレッションモデルは、IoU がゼロのセグメントと正の IoU を持つセグメントを区別する際、最大 91.55% の AUROC を達成し、優れた検出能力を示した。
• 集約指標を入力として用いた線形回帰モデルは、標準誤差が最小 0.130 にまで低下し、R² 値が最大 84.15% に達した。
• 調整済み IoU（IoU_adj）指標は、回帰タスクにおいて標準 IoU に比べて R² で約 2% の性能向上をもたらした。
• ピクセル単位の不確実性ではなく、セグメント単位の信頼性に焦点を当てたことで、本手法は標準的な不確実性評価手法を上回った。
• 本フレームワークは、ソフトマックス出力から導出される任意の不確実性ヒートマップと互換性があり、新しい不確実性推定手法との即時統合が可能である。
• ソースコードは公開されており、アクティブラーニングやラベルエラー検出分野における再現性とさらなる開発を支援する。