[論文レビュー] Meta-repository of screening mammography classifiers

Stadnick, Benjamin, Jan Witowski+5 more|arXiv (Cornell University)|Aug 10, 2021

AI in cancer detection被引用数 5

ひとこと要約

本論文は、スクリーニングマンモグラフィーAIモデルのメタリポジトリを紹介し、7か国・地域のデータセットを対象に標準化された評価を可能にする。AUC-ROCおよびAUC-PR指標を用いて、オープンソースでクロスプラットフォーム互換性を持つ5つのモデルを比較し、医療AI分野におけるモデルの再現性と一般化性の問題を是正する再現可能なベンチマーク評価を実現した。

ABSTRACT

Artificial intelligence (AI) is showing promise in improving clinical diagnosis. In breast cancer screening, recent studies show that AI has the potential to improve early cancer diagnosis and reduce unnecessary workup. As the number of proposed models and their complexity grows, it is becoming increasingly difficult to re-implement them. To enable reproducibility of research and to enable comparison between different methods, we release a meta-repository containing models for classification of screening mammograms. This meta-repository creates a framework that enables the evaluation of AI models on any screening mammography data set. At its inception, our meta-repository contains five state-of-the-art models with open-source implementations and cross-platform compatibility. We compare their performance on seven international data sets. Our framework has a flexible design that can be generalized to other medical image analysis tasks. The meta-repository is available at https://www.github.com/nyukat/mammography_metarepository.

研究の動機と目的

• スクリーニングマンモグラフィーにおける医療AI分野の再現性と公平な比較の課題を解決すること。
• あらゆるスクリーニングマンモグラフィー・データセット上でディーブラーニングモデルを評価するための中央集権的で標準化されたフレームワークを構築すること。
• 画像収集プロトコルや集団の分布の違いがあるにもかかわらず、多様な国際的データセット間でのモデル性能を研究者が比較できるようにすること。
• 倫理的・法的制約のためデータ共有が難しい状況において、モデル共有をデータ共有の代替手段として促進すること。
• オープンソースモデルを一貫した評価パイプラインでサポートする、柔軟でコンテナ化されたインfraを提供すること。

提案手法

• メタリポジトリはDockerコンテナ化を用いてモデル実行環境を標準化し、あらゆるシステムで一貫した実行を保証する。
• 各モデルは、入力画像を処理し、予測を生成し、標準化されたCSV形式で結果を出力する統一されたエントリーポイントスクリプトを用いて評価される。
• 性能は、画像レベルおよび乳房レベルの予測に対して、自動的にAUC-ROCおよびAUC-PR指標で計算される。
• 本システムは、パubリックおよびプライベートデータセットをサポートし、異なるデータ分布に応じた平均ピxls強度などのパラメータを設定可能である。
• モデル固有の設定は、設定ファイルを介して処理され、4つのマンモグラフィー視野を必要とするモデル（例：DMV-CNN）には特別な処理が施される。
• 貢献者は、Dockerfile、エントリーポイントスクリプト、設定ファイルを含むプルリクエストを提出することで、モデルを評価パイプラインに統合できる。

実験結果

リサーチクエスチョン

• RQ1 スクリーニングマンモグラフィー用AIモデルを、収集プロトコルや集団特性が異なる多様な国際的データセットで一貫して評価するにはどうすればよいか？
• RQ2 標準化された条件下で評価した場合、最先端のモデルは、異なるデータ分布間でどの程度一般化性能を発揮するのか？
• RQ3 中央集権的なメタリポジトリは、医療画像研究におけるAIモデルの再現性と比較可能性を向上させることができるか？
• RQ4 ハイパーパramータの選定やモデルアーキテクチャの違いが、複数のデータセットにわたる性能に与える影響は何か？
• RQ5 医療AI研究において、モデル共有はデータ共有の代替手段としてどの程度有効であるか？

主な発見

• メタリポジトリは、7か国・地域のスクリーニングマンモグラフィー・データセットにおいて、5つの最先端モデルの標準化された評価を成功裏に実施した。
• 性能はデータセットごとに顕著に変動し、分布外一般化の課題が、最高性能を発揮するモデルに対しても依然として顕在していることが示された。
• INbreastで微調整されたResNet50バックボーンを搭載したEnd2endモデルは、NYUテストセットで最高のAUC-ROC 0.902を達成した。
• DMV-CNNモデルは、4つの視野がすべて揃わないデータセットでは特別な設定が必要であり、欠損データに対して感受性が高かった。
• GLAMモデルは、統合学習バージョン（model_joint）で最も優れた性能を示し、CMMDデータセットでAUC-ROC 0.885を達成した。
• メタリポジトリのコンテナ化されたフレームワークにより、異なるハードウェアおよびソフトウェア環境間で一貫した結果が得られ、再現性が確保された。