[論文レビュー] Revisiting Evaluation Metrics for Semantic Segmentation: Optimization and Evaluation of Fine-grained Intersection over Union

Zifu Wang, Maxim Berman+7 more|arXiv (Cornell University)|Oct 30, 2023

Advanced Neural Network Applications被引用数 9

ひとこと要約

本論文は、細粒度の平均IoU変種（画像レベル、クラスレベル、インスタンスレベル）と最悪ケース指標を導入し、セマンティックセグメンテーションにおけるサイズ・ラベルのバイアスを低減し、12データセットで15モデルを分析する大規模ベンチマークを提供します。

ABSTRACT

Semantic segmentation datasets often exhibit two types of imbalance: \textit{class imbalance}, where some classes appear more frequently than others and \textit{size imbalance}, where some objects occupy more pixels than others. This causes traditional evaluation metrics to be biased towards \textit{majority classes} (e.g. overall pixel-wise accuracy) and \textit{large objects} (e.g. mean pixel-wise accuracy and per-dataset mean intersection over union). To address these shortcomings, we propose the use of fine-grained mIoUs along with corresponding worst-case metrics, thereby offering a more holistic evaluation of segmentation techniques. These fine-grained metrics offer less bias towards large objects, richer statistical information, and valuable insights into model and dataset auditing. Furthermore, we undertake an extensive benchmark study, where we train and evaluate 15 modern neural networks with the proposed metrics on 12 diverse natural and aerial segmentation datasets. Our benchmark study highlights the necessity of not basing evaluations on a single metric and confirms that fine-grained mIoUs reduce the bias towards large objects. Moreover, we identify the crucial role played by architecture designs and loss functions, which lead to best practices in optimizing fine-grained metrics. The code is available at \href{https://github.com/zifuwanggg/JDTLosses}{https://github.com/zifuwanggg/JDTLosses}.

研究の動機と目的

• 従来のデータセットごとのIoUの偏りに対処するため、細粒度mIoU指標（I、C、K）と対応する最悪ケース変種を提案する。
• 細粒度指標が大きな物体へのバイアスを減らし、モデルおよびデータセットの監査においてより豊かな統計的洞察を提供することを示す。
• 特に安全性が重要なアプリケーションと特に、mIoU^Dとともに細粒度指標を報告することを推奨し、手法の比較をより堅牢にする。

提案手法

• サイズおよびクラスのバイアスを低減するため、画像単位のIoU変種(mIoU^I)とクラス単位のIoU変種(mIoU^C)、およびインスタンス単位の変種(mIoU^K)を定義する。
• mIoU^Kの定式化において、画像レベルのFPをインスタンスサイズに比例配分することでインスタンスレベルの誤検出を近似する。
• 難しいケースを捉えるため、最悪ケース指標 mIoU^{C^q} とその集約 (mIoU^{C^{ar q}}, mIoU^{C^5}, mIoU^{C^1}) を提案する。
• 新指標の下でアーキテクチャと損失関数を比較するため、12デatasetsで15ネットワークをゼロから訓練してベンチマークを行う。
• アーキテクチャの選択と損失関数が細粒度指標の最適化とどのように整合するかを調査する（例: ジャッカード損失の変種）。
• マルチスケール特徴量の集約と損失を細粒度評価指標に合わせるためのベストプラクティスを提供する。

実験結果

リサーチクエスチョン

• RQ1 細粒度IoU指標(I, C, K)は、データセットごとのmIoUと比較して大きな物体に対する偏りを小さくするのか？
• RQ2 最悪ケース指標(mIoU^{C^q})は、難しい画像やインスタンスでの分割モデルの信頼性と頑健性をどのように明らかにするのか？
• RQ3 どのようなアーキテクチャ設計と損失関数が細粒度指標を最も効果的に最適化するのか？
• RQ4 インスタンスラベルが利用できない場合、mIoU^Cはインスタンスレベル評価の実用的な代理指標となり得るか？
• RQ5 多様なデータセットにわたり細粒度指標を用いた大規模ベンチマークからどのような洞察が得られるか？

主な発見

• 細粒度mIoU(I, C, K)は大きな物体へのバイアスを低減し、従来のmIoU^Dよりも豊かな統計情報を提供する。
• mIoU^Cはインスタンスレベルの性能を密接に追跡し、インスタンスラベルが欠如している場合にインスタンスレベル指標の代理として機能し得る。
• 最悪ケース指標(mIoU^{C^q})は、多くのモデルで著しく低い性能を明らかにし、平均指標では捉えられない難しいケースを強調する。
• マルチスケール特徴量統合とジャカード型目的関数に合わせた損失を持つアーキテクチャは、CEのみより細粒度指標を改善する。
• このベンチマークでは、すべての指標とデータセットで単一の優勝モデルは存在せず、複数の指標を用いた総合的な評価の必要性を示している。