[論文レビュー] Deep Deterministic Uncertainty for Semantic Segmentation

Jishnu Mukhoti, Joost van Amersfoort+2 more|arXiv (Cornell University)|Oct 29, 2021

Adversarial Robustness in Machine Learning参考文献 21被引用数 13

ひとこと要約

本稿は、Deep Deterministic Uncertainty (DDU) を画像分類から画像セグメンテーションへ拡張し、1回の順伝播で効率的なエピステミックおよびアレアトリック不確実性推定を可能にする。クラスごとの特徴空間密度を画素位置に依存しない形で用いることで、DDU は Pascal VOC 2012 で最先端の不確実性キャリブレーションを達成し、標準モデルと同等の推論速度を実現。MC Dropout や Deep Ensembles よりも精度と実行時間の両面で優れている。

ABSTRACT

We extend Deep Deterministic Uncertainty (DDU), a method for uncertainty estimation using feature space densities, to semantic segmentation. DDU enables quantifying and disentangling epistemic and aleatoric uncertainty in a single forward pass through the model. We study the similarity of feature representations of pixels at different locations for the same class and conclude that it is feasible to apply DDU location independently, which leads to a significant reduction in memory consumption compared to pixel dependent DDU. Using the DeepLab-v3+ architecture on Pascal VOC 2012, we show that DDU improves upon MC Dropout and Deep Ensembles while being significantly faster to compute.

研究の動機と目的

• 自動運転や医療画像診断などの安全が求められる応用分野における画像セグメンテーションにおける信頼性のある不確実性評価を可能にすること。
• MC Dropout や Deep Ensembles といった従来の不確実性手法が、密度予測タスクにおいて高い計算コストを要することを解決すること。
• 元々分類タスクを想定して開発されたDDUを、効率性と精度を損なわずに画像セグメンテーションに拡張すること。
• 画素独立の特徴空間密度推定が、画像セグメンテーションにおける不確実性推定において実現可能で効果的であることを示すこと。
• 不確実性キャリブレーション、精度、推論速度の観点から、強力なベースラインと比較してDDUの性能を検証すること。

提案手法

• 訓練データに対して1回の順伝播で、空間的位置に依存しない特徴表現を仮定し、クラスごとの特徴空間平均と共分散行列を計算する。
• ガウス判別分析 (GDA) を用いて、p(z) = Σ_c p(z|c)p(c) として周辺特徴密度 p(z) をモデル化する。ここで p(z|c) はクラス条件付き密度、p(c) はクラス事前分布である。
• 計算された特徴密度をエピステミック不確実性の代理として用い、密度が低いほど不確実性が高いとみなす。
• ソフトマックス出力分布のエントロピーを用いてアレアトリック不確実性を推定し、観測ノイズや曖昧性を捉える。
• 特徴の崩壊を防ぎ、安定した密度推定を保証するため、バイリプシッツ性を満たす完全畳み込み型アーキテクチャ (DeepLab-v3+) を採用する。
• 複数回の確率的順伝播やアンサンブル推論を必要とせず、1回の順伝播で不確実性推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 DDU は、画素単位の予測が求められる画像セグメンテーションに効果的に拡張可能か？
• RQ2 画素単位の統計ではなく、クラスごとの画素独立統計を用いて、画像セグメンテーションにおける特徴空間密度を計算することが可能か？
• RQ3 画像セグメンテーションタスクにおいて、DDU は MC Dropout や Deep Ensembles よりも優れた不確実性キャリブレーションを達成できるか？
• RQ4 複数回の順伝播を要するベースライン手法と比較して、DDU は著しく高速な推論を維持しながらも高い精度を保てるか？
• RQ5 現実のセグメンテーションシナリオにおいて、DDU はエピステミック不確実性とアレアトリック不確実性をどれほどうまく分離できるか？

主な発見

• Pascal VOC 2012 の検証セットにおいて、すべての不確実性閾値で、p(正確—確実)、p(不確実—不正確)、PAVPU の不確実性キャリブレーション指標において、DDU は最先端の性能を達成した。
• DDU の1回の順伝播の実行時間は約263ミリ秒であり、MC Dropout の1.57秒に比べて顕著に高速で、標準推論パスと同等の速度であった。
• スピードの優位性にもかかわらず、DDU はバリデーション mIoU 83.6% を維持しており、他のモデルと同等の精度を示しており、精度の妥協がないことが裏付けられた。
• 可視化結果から、DDU の特徴密度は、未学習または曖昧な領域におけるエピステミック不確実性を捉えている一方、ソフトマックスエントロピーは物体のエッジにおけるアレアトリック不確実性を捉えていることがわかった。
• 本手法は、エピステミック不確実性とアレアトリック不確実性を効果的に分離しており、エントロピーに基づく手法では捉えきれない、大きな誤って予測された領域ではエピステミック不確実性が上昇していることが確認された。
• 実験的分析により、同じクラスの特徴空間平均が、異なる画像位置間で一貫して他クラスの平均よりも近くなることが確認され、画素独立仮定の妥当性が裏付けられた。