[論文レビュー] On the limits of cross-domain generalization in automated X-ray prediction

Joseph Cohen, Mohammad Hashir+2 more|arXiv (Cornell University)|Feb 6, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 35被引用数 64

ひとこと要約

この論文は胸部X線予測における跨ドメイン一般化の大規模研究を行い、一般化の問題は画像シフトではなくラベルシフトに起因することを示し、データセット全体での性能、同意/合意、表現を分析する。

ABSTRACT

This large scale study focuses on quantifying what X-rays diagnostic prediction tasks generalize well across multiple different datasets. We present evidence that the issue of generalization is not due to a shift in the images but instead a shift in the labels. We study the cross-domain performance, agreement between models, and model representations. We find interesting discrepancies between performance and agreement where models which both achieve good performance disagree in their predictions as well as models which agree yet achieve poor performance. We also test for concept similarity by regularizing a network to group tasks across multiple datasets together and observe variation across the tasks. All code is made available online and data is publicly available: https://github.com/mlmed/torchxrayvision

研究の動機と目的

• 複数の公開データセット間でX線診断予測タスクの一般化能力を定量化する
• 一般化の問題が画像シフト（covariate shift）由来かラベル分布シフト（concept shift）由来かを分離する
• データセット間でのクロスドメイン性能、モデルの同意、内部表現を検討する
• 結合データセットでの訓練が真の一般化を反映するかドメイン漏れを反映するかを評価する
• 跨ドメイン胸部X線モデルの評価と展開に関する推奨を提供する

提案手法

• AP/PAビューを用いた200k+画像で4つの大規模公開胸部X線データセットにDenseNetsのアンサンブルを訓練する
• ラベル不均衡に対処するためデータセット固有のラベル頻度でタスク損失を調整する
• 公平な比較を可能にするためデータセット固有の最適運用点を用いてタスクごとにモデル出力を校正する
• Leave-one-domain-out および all-domains-inclusive 実験を通じて跨ドメイン一般化を評価する
• 異なるデータセットで訓練されたモデル間のCohen’s kappaを用いてモデル間の同意を分析する
• タスク固有のウェイトベクトルを正則化してデータセット間の表現整合性を研究する

実験結果

リサーチクエスチョン

• RQ1 どの胸部X線予測タスクが異なるデータセット/施設間で最も一般化するか？
• RQ2 一般化は画像分布シフト（covariate shift）によるものか、それともラベル分布シフト（concept shift）によるものか？
• RQ3 モデルの予測、モデル間の同意、内部表現はドメインごとにどのように変化するか？
• RQ4 タスク/データセット間の表現を揃えることで跨ドメイン性能を改善できるか？
• RQ5 臨床現場で跨ドメイン胸部X線モデルを展開する際の含意は何か？

主な発見

• 一般化性能はタスクとデータセットで異なり、いくつかのタスクはドメイン間でより良く一般化する。
• 複数ドメインで訓練したモデルを保持アウトドメインで評価しても性能ギャップが存在し、単純なcovariate shiftを超えたドメイン固有の偏りを示す。
• モデルは高い同意を示す一方で予測性能が低い場合があり、逆に性能が良いモデルは予測において大きく意見が分かれることがある。
• タスクとデータセットごとに出力を校正することは公正な跨ドメイン評価に不可欠で、ラベル/ ground-truth 主観性の影響を明らかにする。
• 全データセットでの結合訓練は全体のAUCを改善するが、これは真の一般化ではなくドメイン漏れを反映しており、leave-one-domain-outテストでは利得が減少する。
• 同じタスクでデータセット間の表現は異なる。タスク表現を揃えるためのウェイトベクトル正則化は混成的な成功を示し、固有のデータセット固有の概念シフトを強調する。