[論文レビュー] MetaFusion: Controlled False-Negative Reduction of Minority Classes in Semantic Segmentation

Robin Chan, Matthias Rottmann+3 more|arXiv (Cornell University)|Dec 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 7

ひとこと要約

MetaFusionは、尤度最大法則の意思決定ルールによる予測と、不確実性に基づく偽陽性検出の勾配ブースティングを用いたメタ分類を組み合わせることで、セマンティックセグメンテーションにおけるマイノリティクラスの誤検出（偽陰性）を低減する後処理手法を提案する。Cityscapesデータセットにおいて、標準的な意思決定ルールやクラス重み付きベースラインと比較して、偽陽性と偽陰性のトレードオフを優れたバランスで達成している。

ABSTRACT

In semantic segmentation datasets, classes of high importance are oftentimes underrepresented, e.g., humans in street scenes. Neural networks are usually trained to reduce the overall number of errors, attaching identical loss to errors of all kinds. However, this is not necessarily aligned with human intuition. For instance, an overlooked pedestrian seems more severe than an incorrectly detected one. One possible remedy is to deploy different decision rules by introducing class priors which assigns larger weight to underrepresented classes. While reducing the false-negatives of the underrepresented class, at the same time this leads to a considerable increase of false-positive indications. In this work, we combine decision rules with methods for false-positive detection. We therefore fuse false-negative detection with uncertainty based false-positive meta classification. We present proof-of-concept results for CIFAR-10, and prove the efficiency of our method for the semantic segmentation of street scenes on the Cityscapes dataset based on predicted instances of the 'human' class. In the latter we employ an advanced false-positive detection method using uncertainty measures aggregated over instances. We thereby achieve improved trade-offs between false-negative and false-positive samples of the underrepresented classes.

研究の動機と目的

• 『人間』のようなマイノリティクラスにおける高い偽陰性率という深刻な問題に取り組むこと。特に、街路風景データセットにおける『人間』の検出漏れは、致命的な結果を招く可能性がある。
• すべての誤差を同等に扱う標準的な損失関数の限界を克服すること。これは、まれだが重要なオブジェクトを検出しなかった場合の現実世界での深刻さを反映していない。
• 過剰にしきい値を下げる処理によって引き起こされる偽陽性の増加を抑えつつ、マイノリティクラスの高再現率を維持する後処理フレームワークを開発すること。
• 不確実性推定とアンサンブルメタ分類を統合し、再トレーニングを必要とせずに、自動的に偽陽性予測を特定・除外すること。
• 異なるアーキテクチャ（MobileNetV2、Xception65）およびタスク（セマンティックセグメンテーション、画像分類）にわたる一般化の有効性を示すこと。

提案手法

• 『人間』のようなマイノリティクラスの検出感度を高めるために、信頼度しきい値を低下させることで、最大尤度（ML）意思決定ルールを適用する。
• 各セグメントの不確実性指標（ソフトマックス確率、エントロピー、確率マージン）を計算し、予測の信頼性を定量化する。
• インスタンスレベルの不確実性特徴を用いて勾配ブースティング木分類器（GB）を訓練し、MLマスク内の真正陽性と偽陽性を区別する。
• GBモデルの出力を用いて、MLマスク内の高不確実性セグメントを、標準ベイズマスクからの予測に置き換えることで、偽陽性を低減する。
• 空間的近傍領域およびセグメント境界にわたる不確実性特徴を集約し、曖昧またはノイズの多い予測の検出を向上させる。
• 特徴重要度分析を活用し、周辺のコンテキスト（例：人の周囲に自転車が存在する）や境界における不確実性が、偽陽性の予測に重要な要因であることを検証する。

実験結果

リサーチクエスチョン

• RQ1 高再現率の意思決定ルールと不確実性に基づく偽陽性検出を組み合わせた後処理手法が、セマンティックセグメンテーションにおけるマイノリティクラスの偽陰性を顕著に低減できるか？
• RQ2 提案されたMetaFusionフレームワークは、標準的な意思決定ルール（例：ベイズ）やクラス重み付き損失関数と比較して、偽陽性と偽陰性のトレードオフにおいてどのように優れているか？
• RQ3 不確実性に基づくメタ分類は、自動運転シナリオにおける『人間』のような重要なマイノリティクラスの検出信頼性をどの程度向上できるか？
• RQ4 この手法はセマンティックセグメンテーションを越えて、画像分類などの他のビジョンタスクにも一般化可能か？
• RQ5 人間検出タスクにおいて、偽陽性予測を予測するのに最も予測力のある不確実性および空間的コンテキスト特徴は何か？

主な発見

• MetaFusionは『人間』クラスにおける偽陽性率を顕著に低減しつつも、高い再現率を維持しており、標準的なベイズルールや補間された意思決定ルールを上回っている。
• Cityscapesデータセットにおいて、MetaFusionは、ベイズマスクとMLマスクの差が大きい場合に特に顕著に、クラス重み付き損失に基づく代替手法よりも偽陽性と偽陰性のバランスが優れている。
• 勾配ブースティングメタ分類器は偽陽性を効果的に同定しており、周辺特徴（例：自転車の存在）と境界における不確実性が、偽陽性の主な予測要因として顕在している。
• この手法は画像分類にも一般化可能である。CIFAR-10に最小限のMetaFusionを適用した結果、同様の性能向上が得られ、広範な適用可能性が示された。
• MLマスクからの偽陽性をベイズ予測に置き換えることで、全体の性能低下はわずかに抑えられつつ、危険な偽陰性が著しく削減された。
• 特徴重要度分析により、セグメント境界における不確実性および隣接クラスコンテキスト（例：自転車）が、偽陽性予測の強力な指標であることが確認された。