[論文レビュー] ValUES: A Framework for Systematic Validation of Uncertainty Estimation in Semantic Segmentation

Kim-Celine Kahl, Carsten T. Lüth+3 more|arXiv (Cornell University)|Jan 16, 2024

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、セマンティックセグメンテーションにおける不確実性推定の検証を体系的に行うためのValUESというフレームワークを紹介する。現在の評価手法における重要なギャップを解消し、データの曖昧性や分布シフトの制御された分析、メソッドの構成要因の体系的アブレーション、およびOoD検出、アクティブラーニング、障害検出、キャリブレーション、曖昧性モデリングの5つの主要な応用分野におけるベンチマークを実施する。その結果、実データでは不確実性タイプの分離が脆く、集約戦略は重要だが軽視されがちであり、テスト時増強は効率性を維持しながらアンサンブルを上回る性能を示すことが判明した。

ABSTRACT

Uncertainty estimation is an essential and heavily-studied component for the reliable application of semantic segmentation methods. While various studies exist claiming methodological advances on the one hand, and successful application on the other hand, the field is currently hampered by a gap between theory and practice leaving fundamental questions unanswered: Can data-related and model-related uncertainty really be separated in practice? Which components of an uncertainty method are essential for real-world performance? Which uncertainty method works well for which application? In this work, we link this research gap to a lack of systematic and comprehensive evaluation of uncertainty methods. Specifically, we identify three key pitfalls in current literature and present an evaluation framework that bridges the research gap by providing 1) a controlled environment for studying data ambiguities as well as distribution shifts, 2) systematic ablations of relevant method components, and 3) test-beds for the five predominant uncertainty applications: OoD-detection, active learning, failure detection, calibration, and ambiguity modeling. Empirical results on simulated as well as real-world data demonstrate how the proposed framework is able to answer the predominant questions in the field revealing for instance that 1) separation of uncertainty types works on simulated data but does not necessarily translate to real-world data, 2) aggregation of scores is a crucial but currently neglected component of uncertainty methods, 3) While ensembles are performing most robustly across the different downstream tasks and settings, test-time augmentation often constitutes a light-weight alternative. Code is at: https://github.com/IML-DKFZ/values

研究の動機と目的

• セマンティックセグメンテーションにおける不確実性推定の理論的主張と実用的性能の間のギャップが拡大するのを是正すること。
• 現在の文献における主要な落とし穴を特定・解決すること、具体的には制御された評価の欠如、メソッド構成要因の不十分なアブレーション、および下流タスクにおける限定的検証の問題。
• 実世界の応用に適した、標準化された体系的検証フレームワークを提供すること。
• 不確実性タイプの分離、構成要因の重要性、および多様なユースケースにおけるメソッド性能に関する根本的な問いに、実証的に答えること。

提案手法

• データの曒意や分布シフトを模擬する制御された環境を導入し、アルエアトリック不確実性とエピステミック不確実性の分離を可能にする。
• セグメンテーションバックボーン（C0）、予測モデル（C1）、不確実性測定（C2）、集約戦略（C3）という4つのコアコンポonentの体系的アブレーションを可能にする。
• OoD検出、アクティブラーニング、障害検出、キャリブレーション、曖昧性モデリングの5つの主要な下流タスクの専用ベンチマークを含む。
• 合成データ（トイデータセット）と実世界データ（LIDC-IDRI、GTA5/Cityscapes）を用いて、制御された状況と現実的状況の両方でメソッドの挙動を評価する。
• 不確実性スコアは正規化され、ピクセルレベルおよび画像レベルで評価され、画像レベルの集約は障害検出のようなタスクにおいて特に重要である。
• 実証的評価では、TTA、MI、EE、SSNなどの複数の不確実性メソッドを用い、AUROCなどの指標を用いて、さまざまな条件下での性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 実世界データ、特にドメインシフト下で、データ関連（アレアトリック）不確実性とモデル関連（エピステミック）不確実性を意味的に分離できるか？
• RQ2 不確実性メソッドの構成要因のうち、集約戦略や不確実性測定といった要因は、実世界の性能にとって不可欠であるか？
• RQ3 OoD検出、アクティブラーニング、障害検出のような多様な下流タスクにおいて、異なる不確実性メソッドの性能はどのように異なるか？
• RQ4 テスト時増強（TTA）は、主にアレアトリック不確実性を捉えているのか、それともエピステミック不確実性を捉えているのか？アンサンブルと比較してどうか？
• RQ5 不確実性メソッドの性能は、異なるデータ分布やドメインシフトに対してどの程度一般化可能か？

主な発見

• アレアトリック不確実性とエピステミック不確実性の分離は、シミュレートされたデータでは信頼性があるが、実世界データ、特にドメインシフト下では一般化できない。
• ピクセルレベルから画像レベルへの不確実性スコアの集約は、重要だがしばしば軽視される。画像レベルのタスク（例：障害検出）では、劣悪な集約戦略が性能を著しく低下させる。
• アンサンブルは、すべての下流タスクおよび設定で一貫して他のメソッドを上回るが、テスト時増強（TTA）は、効率性を維持しながらも強力で軽量な代替手段を提供する。
• テスト時増強（TTA）は、従来の仮定とは異なり、アレアトリック不確実性よりもエピステミック不確実性をより効果的にモデル化していることが判明した。
• 不確実性推定の方法は下流タスクの性能に顕著な影響を与える。例えば、MIベースの不確実性はLIDC-MALデータセットにおいて画像レベルの障害検出でAUROC 0.94を達成し、他のメソッドを上回った。
• GTA5/Cityscapesデータセットでは、画像レベルでの不確実性集約により、障害検出のAUROCがピクセルレベルの0.70から0.82に向上し、適切な集約の重要性が顕著に示された。