[論文レビュー] Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification

Eduardo Pooch, Pedro L. Ballester+1 more|arXiv (Cornell University)|Sep 3, 2019

COVID-19 diagnosis using AI参考文献 19被引用数 31

ひとこと要約

本研究では、4つの主要なデータセットで最先端の深層学習モデルを学習し、異なるドメイン間でテストすることで、チアングラフ分類におけるドメインシフトを評価する。モデルがChestX-ray14 や PadChest で学習された場合、他のデータセットでテストした際に顕著な性能低下を示す一方、CheXpert や MIMIC-CXR で学習されたモデルはより良好な一般化性能を示し、医療画像におけるモデルの信頼性に与えるデータ分布の差の重大な影響を浮き彫りにする。

ABSTRACT

While deep learning models become more widespread, their ability to handle unseen data and generalize for any scenario is yet to be challenged. In medical imaging, there is a high heterogeneity of distributions among images based on the equipment that generates them and their parametrization. This heterogeneity triggers a common issue in machine learning called domain shift, which represents the difference between the training data distribution and the distribution of where a model is employed. A high domain shift tends to implicate in a poor generalization performance from the models. In this work, we evaluate the extent of domain shift on four of the largest datasets of chest radiographs. We show how training and testing with different datasets (e.g., training in ChestX-ray14 and testing in CheXpert) drastically affects model performance, posing a big question over the reliability of deep learning models trained on public datasets. We also show that models trained on CheXpert and MIMIC-CXR generalize better to other datasets.

研究の動機と目的

• ドメインシフトの影響により、異なるチアングラフデータセット間で深層学習モデルの一般化性能がどのように変化するかを評価すること。
• 公開データセットで学習したモデルが、異なる病院や画像診断施設の未観測データに対して信頼性を持って動作できるかどうかを調査すること。
• クロスデータセット性能を比較することで、どのデータセットがより頑健なモデルを生成するかを特定すること。
• ラベル品質とデータ分布の不均一性が、モデルの一般化失敗に与える影響を評価すること。
• 研究者が頑健な医療画像認識モデルを訓練するための代表的なデータセットを選定するための指針を提供すること。

提案手法

• ChestX-ray14、CheXpert、MIMIC-CXR、PadChest の4つの大規模チアングラフデータセットのそれぞれに対して、マルチラベル分類用の最先端の畳み込みニューラルネットワークを学習した。
• 実際の現場での展開を想定し、他の3つのデータセットのテストセットで各モデルの性能を評価した。
• 全画像所見におけるモデル性能を定量化するために、受信者応答特性曲線下積分（AUC）を主な指標として用いた。
• モデル間の性能低下を比較することで、どのソースデータセットがより汎用性の高いモデルを生成するかを特定した。
• ドメインシフトの原因としてのラベルの一貫性とデータ分布の差を分析した。
• 線グラフを用いて、所見ごとのAUCの変動を可視化し、ドメイン間での性能安定性を示した。

実験結果

リサーチクエスチョン

• RQ1 1つのチアングラフデータセットで学習した深層学習モデルの性能が、別のデータセットでテストされた際に、ドメインシフトの影響をどのように受けるか？
• RQ2 ChestX-ray14、CheXpert、MIMIC-CXR、PadChest の4つの主要なチアングラフデータセットの中で、どのデータセットが異なるドメイン間で最も優れた一般化性能を示すモデルを生成するか？
• RQ3 ラベル品質と画像収集プロトコルの違いが、医療画像モデルにおけるドメインシフトにどの程度寄与しているか？
• RQ4 1つのデータセットで学習したモデルが、異なる画像診断プロトコルを有する異なる臨床現場に展開された場合でも高い性能を維持できるか？
• RQ5 これらの発見は、放射線科における深層学習モデルの外部妥当性評価および実用的展開にどのような意味を持つのか？

主な発見

• ChestX-ray14 で学習したモデルは、CheXpert でテストした際の平均AUCが 0.12 減少し、MIMIC-CXR では 0.08、PadChest では 0.04 減少した。これは顕著なドメインシフトを示している。
• CheXpert や MIMIC-CXR で学習したモデルは、他のデータセットでテストした際、ベースライン平均AUCの90％以上を維持しており、優れた一般化性能を示している。
• PadChest で学習したモデルは、他のデータセットでテストした際の平均AUCが 0.10 減少したが、これは1つの所見あたりの学習サンプル数が少なかったためと推定される。
• 4つのテストセットすべてにおいて、各画像所見の最高AUCは、主に同じデータセットで学習・テストした場合に達成されており、強いドメイン固有のバイアスがあることが示された。
• CheXpert と MIMIC-CXR データセットは、ドメイン間で一貫性があり、頑健な性能を示しており、実世界の画像変動をよりよく反映している可能性がある。
• 本研究では、ChestX-ray14 のラベル信頼性の問題が、一般化性能の低さに寄与している可能性があると判明した。視覚的検査の研究によると、ラベルの正確性は報告値より10–30％低いとされている。