[論文レビュー] How I failed machine learning in medical imaging -- shortcomings and recommendations

Gaël Varoquaux, Veronika Cheplygina|arXiv (Cornell University)|Mar 18, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 90被引用数 4

ひとこと要約

この論文は、医療画像における機械学習の欠陥を厳密に検討し、データセットバイアス、不適切な評価手法、研究インcentiveの不整合が臨床的インパクトを阻害する主な要因であると特定する。研究が現実の臨床ニーズに適合し、再現性と信頼性を高めるために、データ多様性の向上、評価指標の拡充、事前登録研究の導入といった実行可能な提言を提示する。

ABSTRACT

Medical imaging is an important research field with many opportunities for improving patients' health. However, there are a number of challenges that are slowing down the progress of the field as a whole, such optimizing for publication. In this paper we reviewed several problems related to choosing datasets, methods, evaluation metrics, and publication strategies. With a review of literature and our own analysis, we show that at every step, potential biases can creep in. On a positive note, we also see that initiatives to counteract these problems are already being started. Finally we provide a broad range of recommendations on how to further these address problems in the future. For reproducibility, data and code for our analyses are available on \url{https://github.com/GaelVaroquaux/ml_med_imaging_failures}

研究の動機と目的

• 増加する研究出力にもかかわらず、臨床への応用が阻害される医療画像における機械学習研究のシステム的欠陥を特定すること。
• データセットバイアス、メソドロジカルな欠陥、出版インcentiveが、MLモデルの信頼性と現実世界への適用可能性をどのように損なっているかを分析すること。
• データ選択、評価手法、出版規範の改善に向けた明確で根拠に基づいた提言を提示し、臨床的関連性と再現性を高めること。
• 『最先端』の結果を発表することに注力するのではなく、堅牢で透明性があり一般化可能な手法で臨床的に意味のある問題に取り組む研究の姿勢にシフトすること。

提案手法

• アルツハイマー病分類に関する6つの系統的レビューから得た478件の研究をメタアナリシスし、サンプルサイズと診断精度のトレンドを評価した。
• 先行研究および事例研究の証拠を用いて、胸部レントゲン、脳MRI、網膜画像など複数の医療画像分野におけるデータセットバイアスを分析した。
• モデル評価におけるメソドロジカルな欠陥を評価した。具体的には、正解率への過剰依存、キャリブレーション指標の欠如、不確実性および誤差範囲の報告不足を含む。
• 上位レベルのコンピュータサイエンス論文における引用パターン、p値分布、および「ファイルドローワー効果」の有無を分析することで、出版規範を検討した。
• 事前登録レポート、幅広い評価指標（例：キャリブレーション、学習曲線）、ネガティブ結果や再現性研究の出版を奨励する仕組みを提言した。
• 再現性と透明性を確保するため、GitHubで公開されたオープンソースコードおよびデータを活用した。

実験結果

リサーチクエスチョン

• RQ1 アルツハイマー病研究におけるデータセットサイズの増加が、進行性と安定性を示す軽度認知障害を区別するという臨床的に重要なタスクに関して、なぜ診断精度の向上に結びついていないのか。
• RQ2 スキャナの違いや人口統計的不均衡といったデータセットバイアスが、医療画像における機械学習モデルの一般化能力をどの程度損なっているのか。
• RQ3 『最先端』の結果を報告する圧力や、肯定的結果のみを発表するという出版インcentiveが、メソドロジカルな厳密さと臨床的関連性をどの程度歪めているのか。
• RQ4 正解率以外のどの評価指標が、医療画像における機械学習モデルの信頼性と解釈可能性を高められるか。
• RQ5 事前登録、オープンレポート、ネガティブ結果の受容といった研究規範の変化が、医療AI研究の臨床的インパクトをどの程度向上させられるか。

主な発見

• アルツハイマー病研究におけるサンプルサイズの継続的増加にもかかわらず、進行性と安定性を示す軽度認知障害を区別する予測精度は向上せず、むしろ大規模な研究では悪化傾向にある。
• スキャナのプロトコルの違いや患者の人口統計的特性の不均衡といったデータセットバイアスが、モデルの一般化能力を顕著に低下させ、あるスキャナやコhortで学習したモデルが他のスキャナやコhortでは著しく性能を発揮しない。
• 410件の上位ACM論文をメタアナリシスした結果、97％がp値0.05未満を報告しており、肯定的結果への出版バイアスが強く、報告された結果の信頼性に懸念が生じる。
• 医療画像における多くの機械学習モデルが、評価誤差の範囲内での改善にとどまっていることが判明し、報告された改善が統計的に有意であるか、臨床的に意味があるとは限らない。
• 正解率を主な指標として過剰に依存し、キャリブレーションや不確実性の報告が不足していることが、モデル性能に対する過剰な自信を生み、臨床応用を妨げている。
• 事前登録、幅広い評価指標、ネガティブ結果や再現性研究の受容は、研究の透明性を著しく向上させ、医療AI分野における技術的負債を低減できる。