[論文レビュー] CheXpedition: Investigating Generalization Challenges for Translation of Chest X-Ray Algorithms to the Clinical Setting

Pranav Rajpurkar, Anirudh Joshi+6 more|arXiv (Cornell University)|Feb 26, 2020

COVID-19 diagnosis using AI参考文献 40被引用数 24

ひとこと要約

本研究では、トップCheXpertチャレンジモデルの一般化性能を、3つの臨床的翻訳課題について評価している：結核（TB）の検出（TB特化型のトレーニングなし）、スマートフォンで撮影したレントゲン写真のパフォーマンス、および別の機関のデータにおける外部妥当性評価。モデルは全タスクで優れたパフォーマンスを示した—TBではAUC 0.851、写真では0.916、外部データではレントゲン専門医と同等またはそれを上回った—微調整なしで堅牢な一般化性能を示しており、混同要因となる機関固有の特徴に依存する証拠は見当たらない。

ABSTRACT

Although there have been several recent advances in the application of deep learning algorithms to chest x-ray interpretation, we identify three major challenges for the translation of chest x-ray algorithms to the clinical setting. We examine the performance of the top 10 performing models on the CheXpert challenge leaderboard on three tasks: (1) TB detection, (2) pathology detection on photos of chest x-rays, and (3) pathology detection on data from an external institution. First, we find that the top 10 chest x-ray models on the CheXpert competition achieve an average AUC of 0.851 on the task of detecting TB on two public TB datasets without fine-tuning or including the TB labels in training data. Second, we find that the average performance of the models on photos of x-rays (AUC = 0.916) is similar to their performance on the original chest x-ray images (AUC = 0.924). Third, we find that the models tested on an external dataset either perform comparably to or exceed the average performance of radiologists. We believe that our investigation will inform rapid translation of deep learning algorithms to safe and effective clinical decision support tools that can be validated prospectively with large impact studies and clinical trials.

研究の動機と目的

• CheXpertコンペティションで上位の成績を収めた胸部レントゲンモデルが、トレーニングデータに含まれない疾患、例えば結核（TB）に対して一般化できるかどうかを調査すること。
• 低資源環境でフィルムが一般的な現実の臨床現場を想定し、デジタル写真としてのレントゲン画像へのモデルパフォーマンスを評価すること。
• 外部機関のデータに対する一般化性能を評価し、モデルバイアスや医療機関間での移行性の低さに関する懸念に対処すること。
• モデルが臨床的に関連する特徴ではなく、非医療的で混同要因となる手がかり（例：機関固有のアーティファクト）に依存して意思決定をしているかどうかを特定すること。

提案手法

• 本研究では、CheXpertチャレンジのランク上位10モデルを評価対象とし、これらすべてがDenseNetアーキテクチャを用いたアンサンブルモデルであった。
• モデルは、3つの新しいテストセットに対して再実行された：2つの公的TBデータセット、レントゲン写真のセット、および別の機関の外部データセット。
• 各タスクのパフォーマンスは、AUC（受信器特性曲線下の面積）を用いて測定され、外部データセットにおけるレントゲン専門医のパフォーマンスと比較された。
• モデルが臨床的に関連する解剖学的領域に注目しているかどうかを評価するため、クラス活性化マップ（CAMs）が分析された。
• すべてのモデルは、トレーニング中にTBまたは外部機関のラベルを含めず、微調整なしにテストされた。これにより、テストデータへの完全な露出を回避した。
• 本研究では、CodaLabプラットフォームを用いて、元のコンペティション評価プロトコルを保持したまま、新しいテストセット上でモデルを再実行した。

実験結果

リサーチクエスチョン

• RQ1 米国ベースのCheXpertラベル付きデータでトレーニングされた胸部レントゲンモデルは、トレーニングデータに明示的に含まれない結核を検出できる一般化性能を示せるか？
• RQ2 これらのモデルは、低資源環境で一般的なレントゲン写真入力に対してどの程度のパフォーマンスを示すか？
• RQ3 外部で関係のない機関のデータに対して評価された際、モデルは分布シフトに対して耐性を示すのか？
• RQ4 モデルは、臨床的に関連する特徴ではなく、非医療的で機関固有のアーティファクトや混同要因に依存して予測をしているのか？

主な発見

• トップ10のCheXpertモデルは、TB特化型のトレーニングや微調整なしに、2つの公的TBデータセットで平均AUC 0.851を達成した。これは、世界的に重要な疾患である結核に対する強力なゼロショット一般化性能を示している。
• スマートフォンで撮影したレントゲン写真へのパフォーマンス（AUC = 0.916）は、元のデジタルレントゲン画像へのパフォーマンス（AUC = 0.924）とほぼ同等であり、画像品質の変化による性能低下は最小限に抑えられていることが示唆された。
• 別の機関の外部データセットでは、モデルはレントゲン専門医の平均パフォーマンスと同等またはそれを上回ったが、特に感度の面で顕著だった。微調整なしでも同様の結果が得られた。
• クラス活性化マップの分析から、モデルは混同要因となる特徴ではなく、臨床的に関連する解剖学的領域に注目していることが判明した。これは、非医学的で関連のない手がかりにほとんど依存していないことを示している。
• CheXpertタスクにおける平均AUCは、TBパフォーマンスの強力な予測要因（R² = 0.78）であった。これは、標準タスクにおける一般化能力が、まれな疾患におけるパフォーマンスと相関していることを示している。
• 結果から、既存の胸部レントゲンモデルは、追加の工学的処理なしに、機関間、モダリティ間、疾患間で一般化できる可能性があることが示唆された。これは、モデルの脆さに関する従来の懸念を覆すものである。