[論文レビュー] Metrics reloaded: Recommendations for image analysis validation

Lena Maier‐Hein, Annika Reinke+72 more|arXiv (Cornell University)|Jun 3, 2022

Artificial Intelligence in Healthcare and Education参考文献 69被引用数 62

ひとこと要約

本論文は Metrics Reloaded を提案します。これは、問題の指紋付け、Delphi 主導プロセス、そしてオンラインツールに基づく、画像分析の検証における問題認識型指標選択のフレームワークです。

ABSTRACT

Increasing evidence shows that flaws in machine learning (ML) algorithm validation are an underestimated global problem. Particularly in automatic biomedical image analysis, chosen performance metrics often do not reflect the domain interest, thus failing to adequately measure scientific progress and hindering translation of ML techniques into practice. To overcome this, our large international expert consortium created Metrics Reloaded, a comprehensive framework guiding researchers in the problem-aware selection of metrics. Following the convergence of ML methodology across application domains, Metrics Reloaded fosters the convergence of validation methodology. The framework was developed in a multi-stage Delphi process and is based on the novel concept of a problem fingerprint - a structured representation of the given problem that captures all aspects that are relevant for metric selection, from the domain interest to the properties of the target structure(s), data set and algorithm output. Based on the problem fingerprint, users are guided through the process of choosing and applying appropriate validation metrics while being made aware of potential pitfalls. Metrics Reloaded targets image analysis problems that can be interpreted as a classification task at image, object or pixel level, namely image-level classification, object detection, semantic segmentation, and instance segmentation tasks. To improve the user experience, we implemented the framework in the Metrics Reloaded online tool, which also provides a point of access to explore weaknesses, strengths and specific recommendations for the most common validation metrics. The broad applicability of our framework across domains is demonstrated by an instantiation for various biological and medical image analysis use cases.

研究の動機と目的

• 生物医用画像分析における指標選択がしばしばドメインニーズを反映できない理由を特定する。
• 検証指標を選択するための問題認識型フレームワーク（Metrics Reloaded）を開発する。
• 画像・物体・画素レベルを横断して指標選択を導く構造化された問題の指紋を作成する。
• 生物医学のユースケースを通じてフレームワークの適用性を示し、実践的なオンラインツールを提供する。

提案手法

• 国際的な専門家の協力を得たマルチステージ Delphi プロセス（2020–2022）で Metrics Reloaded を開発した。
• 指標選択に関連するドメイン・データ・出力に関する特性を捉えるための問題指紋付けを導入する。
• 4つの問題カテゴリを定義する：画像レベル分類、物体検出、意味的セグメンテーション、インスタンスセグメンテーション。
• 参照ベースの指標のコンセンサスに基づくリポジトリから指標プールを作成し、指標選択の経路を提示する。
• あいましいケースのための意思決定ガイドを提供し、ワークフローを支援するオンラインツールを実装する。

実験結果

リサーチクエスチョン

• RQ1 指標選択をどのように基礎的な生物医用問題とドメインの関心に合わせられるか？
• RQ2 問題指紋が捉えるべき特性は、問題とモダリティに依存しない指標推奨を可能にするためにどのようなものか？
• RQ3 Delphi 主導のプロセスは、画像分析の検証指標の堅牢で合意ベースのプールをどのように生み出せるか？
• RQ4 実践的なオンラインツールは、画像分析タスク間で一貫したクロスドメインの検証指標選択を促進できるか？
• RQ5 Metrics Reloaded フレームワークは、異なるイメージングモダリティと問題スケールに対してどの程度一般化可能か？

主な発見

• Metrics Reloaded は三種類の指標の落とし穴を特定する：不適切な問題カテゴリ、指標選択の不備、指標の適用の不備。
• 問題指紋付けアプローチは、ドメイン知識を符号化することにより問題およびモダリティに依存しない指標推奨を可能にする。
• フレームワークは四つの問題カテゴリ（ImLC、SemS、ObD、InS）にわたる構造化された指標経路とDelphi合意に支えられた指標プールを提供する。
• オンラインツールは、適切な指標を選択・適用するためにフレームワークを実装してユーザーを支援する。
• 連合体は、複数の生物学的・医療的ユースケースを通じてフレームワークの広い適用性を示している。
• 指標プールには一般的な指標だけでなく Net Benefit や Expected Cost のようなあまり知られていない参照も含まれており、検証におけるトレードオフを捉えるよう設計されている。