[論文レビュー] Common Limitations of Image Processing Metrics:A Picture Story

Annika Reinke|University of Birmingham Research Portal (University of Birmingham)|Apr 12, 2021

Radiomics and Machine Learning in Medical Imaging被引用数 36

ひとこと要約

この論文は、画像レベルの分類、セグメンテーション、インスタンスセグメンテーション、物体検出における一般的な画像処理指標の基本的な落とし穴と制限を、Delphi合意のリビングドキュメントを通じて調査する。

ABSTRACT

While the importance of automatic image analysis is continuously increasing, recent meta-research revealed major flaws with respect to algorithm validation. Performance metrics are particularly key for meaningful, objective, and transparent performance assessment and validation of the used automatic algorithms, but relatively little attention has been given to the practical pitfalls when using specific metrics for a given image analysis task. These are typically related to (1) the disregard of inherent metric properties, such as the behaviour in the presence of class imbalance or small target structures, (2) the disregard of inherent data set properties, such as the non-independence of the test cases, and (3) the disregard of the actual biomedical domain interest that the metrics should reflect. This living dynamically document has the purpose to illustrate important limitations of performance metrics commonly applied in the field of image analysis. In this context, it focuses on biomedical image analysis problems that can be phrased as image-level classification, semantic segmentation, instance segmentation, or object detection task. The current version is based on a Delphi process on metrics conducted by an international consortium of image analysis experts from more than 60 institutions worldwide.

研究の動機と目的

• 画像分析における有意義な検証のために、指標の性質を理解する重要性を強調する。
• データセットの特性（例：クラス不均衡、非独立性）が指標の挙動に如何に影響するかを特定する。
• 問題カテゴリー（画像レベルの分類、意味的/インスタンスセグメンテーション、物体検出）における落とし穴を分類し、図示する。
• 問題と文脈を考慮した指標選択と解釈のためのガイドラインとリビングフレームワークを提供する。
• 60以上の機関の専門家を含む国際的なDelphiプロセスのコンセンサス結果を要約する。

提案手法

• 一般的な指標ファミリ（カウント、マルチ閾値、距離ベース）とそれらの基盤となるTP/FP/TN/FNの基礎をレビューする。
• 指標を4つの問題カテゴリーに対応づける：画像レベル分類、意味的セグメンテーション、インスタンスセグメンテーション、物体検出。
• 共通の落とし穴と制限を特定・文書化するためのDelphi合意プロセス。
• カテゴリー指標の不一致、カテゴリー特有の問題、横断的トピックの落とし穴をまとめる。
• 制限を示すガイドライン、例、および図を含む、リビングで動的に更新される文書の提示。

実験結果

リサーチクエスチョン

• RQ1 一般的な指標を生物医学画像分析タスクに適用する際の主な落とし穴は何か？
• RQ2 カテゴリーと指標の不一致が性能指標の妥当性と解釈にどのように影響するか？
• RQ3 データセットと問題特有の要因が、異なる画像解析タスクにおける指標の挙動にどのように影響するか？
• RQ4 合意主導で文脈を意識したフレームワークは、画像研究における指標選択と報告をどのように改善できるか？

主な発見

• 指標はしばしばカテゴリーと指標の不一致（例：意味的セグメンテーションと物体検出）に悩まされ、評価を歪める。
• クラス不均衡、多クラス設定、クラス間の相互依存性など、データセットの特性が指標の解釈に大きく影響する。
• 異なる問題カテゴリー（画像レベル分類、セグメンテーション、検出）は共通の検証原理を共有するが、タスクの意味論に合わせた指標整合性が必要である。
• Delphi主導の国際コンソーシアムのアプローチは、文脈認識した指標選択と透明な報告のガイドラインを提供する。
• この文書は、代表的な図と例を用いて指標の制限を継続的に示し、更新するリビングリソースとして機能する。