[論文レビュー] Failure Detection in Medical Image Classification: A Reality Check and Benchmarking Testbed

M. Brooke Bernhardt, Fabio De Sousa Ribeiro+1 more|arXiv (Cornell University)|May 27, 2022

Imbalanced Data Classification Techniques被引用数 7

ひとこと要約

本稿では、6つの多様なデータセットおよびモダリティをカバーする医療画像分類におけるドメイン内障害検出のための9つの信頼性スコア手法をベンチマークした。驚くべきことに、高度な手法が単純なソフトマックスベースラインを一貫して上回ることはなく、より良い分布外検出やキャリブレーションが、誤分類検出に必ずしも寄与しないことが明らかになった。これは、医療分野におけるAIセーフティにおける重要なギャップを示している。

ABSTRACT

Failure detection in automated image classification is a critical safeguard for clinical deployment. Detected failure cases can be referred to human assessment, ensuring patient safety in computer-aided clinical decision making. Despite its paramount importance, there is insufficient evidence about the ability of state-of-the-art confidence scoring methods to detect test-time failures of classification models in the context of medical imaging. This paper provides a reality check, establishing the performance of in-domain misclassification detection methods, benchmarking 9 widely used confidence scores on 6 medical imaging datasets with different imaging modalities, in multiclass and binary classification settings. Our experiments show that the problem of failure detection is far from being solved. We found that none of the benchmarked advanced methods proposed in the computer vision and machine learning literature can consistently outperform a simple softmax baseline, demonstrating that improved out-of-distribution detection or model calibration do not necessarily translate to improved in-domain misclassification detection. Our developed testbed facilitates future work in this important area

研究の動機と目的

• 医療画像分類におけるドメイン内障害検出手法の実世界での性能を評価すること。特に、臨床的セーフティの観点に焦点を当てる。
• 単純なソフトマックスを越えた最先端の信頼性スコア手法が、医療画像における誤分類ケースの検出を改善するかどうかを評価すること。
• 今後の研究のための包括的かつ再現可能なベンチマークテストベッドを確立すること。
• モデルキャリブレーションや分布外検出の向上が、ドメイン内誤分類検出の性能向上に相関するという仮定を検証すること。
• 臨床導入の前に、体系的かつデータセット固有の信頼性スコアの評価を可能にする基盤を提供すること。

提案手法

• 広く使われている9つの信頼性スコアをベンチマーク：ソフトマックス、エントロピー、アンビエント・アンプルティ（ベイジアンニューラルネットワーク）、モンテカルロドロップアウト、および表現ベースのスコア（例：マハラノビス距離）。
• 6つの医療画像データセット（例：レントゲン、MRI、OCTなど）を用い、6つの異なるモダリティおよび解像度（28×28～512×512ピクセル）で評価した。
• バイナリ分類とマルチクラス分類の両設定を用いて、タスクタイプと難易度の多様性を評価した。
• 信頼性スコアの違いに起因する性能差を明確にするために、すべてのスコアで同一のモデルアーキテクチャと正則化（例：ドロップアウト）を維持した。
• 標準的な指標を用いた：ROCAUC、FPR@80TPR、および固定FPRにおけるTPR。臨床的閾値に近い状況での検出性能を評価した。
• コード、モデル、評価スクリプトを含む公開テストベッド（GitHub）をリリースし、再現可能性とコミュニティによる拡張を可能にした。

実験結果

リサーチクエスチョン

• RQ1 多様な医療画像データセットにおいて、高度な信頼性スコア手法が、ドメイン内誤分類を検出する際に一貫してソフトマックスベースラインを上回ることができるか？
• RQ2 モデルキャリブレーションや分布外検出の向上が、ドメイン内障害検出性能の向上にどの程度寄与するか？
• RQ3 画像モダリティ、解像度、分類タスクタイプ（バイナリ対マルチクラス）によって、障害検出性能はどのように変化するか？
• RQ4 実世界の医療画像シナリオにおいて、最先端の信頼性スコアとソフトマックスベースラインとの間には一貫した性能ギャップが存在するか？
• RQ5 提案されたベンチマークテストベッドは、医療AIにおける将来の障害検出手法の評価に信頼性があり拡張可能であるプラットフォームとして機能できるか？

主な発見

• ベンチマークされた9つの信頼性スコアのうち、どの手法も6つの医療画像データセットすべてで一貫してソフトマックスベースラインを上回ることはなかった。
• ソフトマックスベースラインは、すべてのデータセットでROCAUC > 0.75を達成しており、これは誤分類ケースを確率的に有意に上回るレベルで検出可能であることを示している。
• FPR@80TPRは、すべての手法とデータセットで依然として高く（誤りが多数見逃されていることを示唆）、20％の誤検出率でも改善の余地が大きいことを示している。
• 分布外検出性能やモデルキャリブレーションの向上が、ドメイン内誤分類検出性能の向上に直結しないことが判明し、これらの代理指標の妥当性が疑問視された。
• 信頼性スコアの性能は、データセットによって著しく異なり、手法の性能は非常にデータセット依存的であり、一般化できないことが明らかになった。
• 本研究により、障害検出はまだ解決されておらず、OoD耐性などの間接的指標に依存するのではなく、専用のタスク固有の評価が不可欠であることが示された。