[論文レビュー] Rethinking Semantic Segmentation Evaluation for Explainability and Model Selection

Yuxiang Zhang, Sachin Mehta+1 more|arXiv (Cornell University)|Jan 21, 2021

Advanced Neural Network Applications参考文献 30被引用数 17

ひとこと要約

本稿では、mIOU などのピクセル単位の指標の限界を補うために、領域ベースの過剰・過小セグメンテーション評価指標（ROM および RUM）を提案する。この手法は、予測結果が正例領域からどの程度逸脱しているかを測定することで、領域レベルの忠実度を定量化し、軽量モデルがピクセル精度の損失ではなく構造的バイアスのため過小セグメンテーションを起こすことがあることを明らかにする。

ABSTRACT

Semantic segmentation aims to robustly predict coherent class labels for entire regions of an image. It is a scene understanding task that powers real-world applications (e.g., autonomous navigation). One important application, the use of imagery for automated semantic understanding of pedestrian environments, provides remote mapping of accessibility features in street environments. This application (and others like it) require detailed geometric information of geographical objects. Semantic segmentation is a prerequisite for this task since it maps contiguous regions of the same class as single entities. Importantly, semantic segmentation uses like ours are not pixel-wise outcomes; however, most of their quantitative evaluation metrics (e.g., mean Intersection Over Union) are based on pixel-wise similarities to a ground-truth, which fails to emphasize over- and under-segmentation properties of a segmentation model. Here, we introduce a new metric to assess region-based over- and under-segmentation. We analyze and compare it to other metrics, demonstrating that the use of our metric lends greater explainability to semantic segmentation model performance in real-world applications.

研究の動機と目的

• 過剰・過小セグメンテーションのような領域レベルの誤差を考慮する説明可能な評価指標の不足を是正すること。
• mIOU などの標準的指標がピクセル単位の誤差が低くても領域レベルのセグメンテーション誤差を検出できないことの特定。
• 過剰・過小セグメンテーションを独立して定量化できる領域ベースの評価フレームワークの開発。
• 特にリソース制約下の軽量モデルに適した、計算効率とセグメンテーション忠実度のバランスを取る実用的ソリューションの提供。
• リソース制約下の環境における軽量モデルの選定を可能にする、計算効率とセグメンテーション忠実度のバランスを取る評価フレームワークの構築。

提案手法

• 予測領域のうち複数の正例領域と重複する割合を測定することで、領域過剰セグメンテーション指標（ROM）を定義。これは誤った分割を示す。
• 正例領域のうち複数の予測領域と重複する割合を測定することで、領域過小セグメンテーション指標（RUM）を定義。これは誤った統合を示す。
• セグメンテーションマスクから予測領域および正例領域を連結成分解析により抽出する。
• 予測領域と正例領域間の交差率（IoU）を用いて、ROM および RUM を計算し、領域レベルの一致度を評価する。
• mIOU や Dice、ピクセル精度といった標準的指標とともに、ROM および RUM をモデル評価パイプラインに統合する。
• PASCAL VOC、Cityscapes、ADE20K といった多様なデータセットおよび、重いモデルと軽量モデルの両方を用いたモデルアーキテクチャで、指標の堅牢性と有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 mIOU などの標準的ピクセル単位の評価指標は、過剰・過小セグメンテーションのような領域レベルのセグメンテーション誤差をどのように見逃しているのか。
• RQ2 ROM および RUM は、重いモデルと軽量モデルの間の性能差をどの程度説明できるのか。
• RQ3 実世界の応用において、ROM や RUM といった領域ベースの指標は、ピクセル単位の指標よりもモデル挙動の説明可能性を高められるか。
• RQ4 ROM および RUM は、歩行者環境における正確な経路マッピングといった後続の応用ニーズとどの程度相関しているか。
• RQ5 境界の曖昧さや非決定的画像境界は、領域ベースの評価指標の堅牢性にどのような影響を及えるか。

主な発見

• PASCAL VOC の例では、ピクセル単位のセグメンテーションがほぼ完璧であったが、mIOU は顕著な誤差を示した。一方、ROM および RUM は過剰・過小セグメンテーションがゼロと正しく報告しており、領域レベルの忠実度に敏感であることを裏付けた。
• Cityscapes データセットでは、ESPNetv2 は DRN と同等の ROM を示したが、RUM が 5 ポints 高く、性能劣化の主な要因が過小セグメンテーションであることが明らかになった。
• ADE20K では、MobileNetv2 の ROM は PSPNet-ResNet101 よりも顕著に高く、その性能劣化の主な要因がピクセルレベルの誤差ではなく過剰セグメンテーションに起因していることが判明した。
• 信頼度閾値 0.6 で、MobileNetv2 は過剰セグメンテーション誤差を低減したが、過小セグメンテーションは悪化しなかった。これは、閾値チューニングが領域レベルの誤差を緩和できることを示している。
• 指標の分析から、軽量モデル（ESPNetv2 や MobileNetv2）は、杭や人物などの重要なオブジェクトを過小・過剰にセグメンテーションする傾向があることが判明した。これはナビゲーションタスクにとって重要であるが、mIOU では検出できない。
• ROM および RUM は境界の変動に対して堅牢である。アノテーションと自然画像の境界は両方とも非決定的であるが、指標は実世界の入力に対して安定に動作した。