[論文レビュー] Common Limitations of Image Processing Metrics: A Picture Story

Annika Reinke, Minu D. Tizabi+91 more|arXiv (Cornell University)|Apr 12, 2021

Medical Image Segmentation Techniques参考文献 17被引用数 87

ひとこと要約

tldr: 実務的な落とし穴と制限を詳述した、デルファイ法を用いた生きた概要。画像レベルの分類、意味的/インスタンス分割、物体検出に跨る一般的な画像処理指標の実務上の欠点と限界、文脈を踏まえた指標選択のガイドライン。

ABSTRACT

While the importance of automatic image analysis is continuously increasing, recent meta-research revealed major flaws with respect to algorithm validation. Performance metrics are particularly key for meaningful, objective, and transparent performance assessment and validation of the used automatic algorithms, but relatively little attention has been given to the practical pitfalls when using specific metrics for a given image analysis task. These are typically related to (1) the disregard of inherent metric properties, such as the behaviour in the presence of class imbalance or small target structures, (2) the disregard of inherent data set properties, such as the non-independence of the test cases, and (3) the disregard of the actual biomedical domain interest that the metrics should reflect. This living dynamically document has the purpose to illustrate important limitations of performance metrics commonly applied in the field of image analysis. In this context, it focuses on biomedical image analysis problems that can be phrased as image-level classification, semantic segmentation, instance segmentation, or object detection task. The current version is based on a Delphi process on metrics conducted by an international consortium of image analysis experts from more than 60 institutions worldwide.

研究の動機と目的

• 医用画像分析における検証結果に影響を与える指標特性、データセット特性、および生物医療分野の関連性を強調する。
• 画像レベルの分類、分割、物体検出指標の一般的な落とし穴を要約する。
• 再現性と妥当性を改善するための問題・文脈に応じた指標選択のガイドラインを提供する。

提案手法

• 混同行列の概念（TP、FP、TN、FN）に基づく、カウント・マルチ閾値・距離ベースのコア指標を整理・分類する。
• 指標ファミリー間の関係と、それらが画像レベル・物体レベル・ピクセルレベルの問題にどう対応するかを説明する。
• 60以上の機関の専門家による国際コンソーシアムが実施したデルファイ過程から洞察を統合し、落とし穴を特定する。
• 問題カテゴリ別の落とし穴（カテゴリ指標の不整合、クラス不均衡、多クラスの問題）と、横断的な落とし穴（集約、可視化など）を提示する。
• 生物医学的関連性と検証目標に沿った指標選択の実践的ガイドラインを提示する。

実験結果

リサーチクエスチョン

• RQ1 分類、分割、検出など異なる問題カテゴリにおける一般的に使用される画像分析指標の主な限界と落とし穴は何か。
• RQ2 指標特性とデータセット特性は、画像生物医学分析における検証結果にどのように影響するか。
• RQ3 頑健で透明性の高い評価のために、問題と文脈を考慮した指標選択のためのガイドラインを提供できるか。

主な発見

• 指標はカテゴリ指標の不整合とデータセット特性に大きく影響され、検証結果を偏らせたり誤解を招くことがある。
• 不適切な指標を誤った問題カテゴリに適用すること（例：意味的分割 vs インスタンス分割、画像レベル vs 物体レベルのタスク）により、多くの指標関連の落とし穴が生じる。
• クラス別評価と多クラスの枠組みは、クラス別の性能を明らかにし、集計バイアスを避けるのに役立つ。
• 横断的な落とし穴には、情報量の少ない可視化、無効なアルゴリズム出力、真の性能を覆い隠す集計の問題が含まれる。
• 本資料はBIAsチャレンジ、MICCAIチャレンジ、MONAIベンチマークのガイドラインとツールを統合し、文脈を踏まえた指標選択を促進する。