[论文解读] CheXpedition: Investigating Generalization Challenges for Translation of Chest X-Ray Algorithms to the Clinical Setting

Pranav Rajpurkar, Anirudh Joshi+6 more|arXiv (Cornell University)|Feb 26, 2020

COVID-19 diagnosis using AI参考文献 40被引用 24

一句话总结

本研究评估了顶级CheXpert挑战赛模型在三项临床迁移挑战中的泛化能力：无TB特异性训练条件下的结核病（TB）检测、在智能手机拍摄的X光片上的表现，以及在另一家机构数据上的外部验证。这些模型在所有任务中均表现出色——TB检测AUC为0.851，照片输入AUC为0.916，在外部数据上的表现与放射科医生相当或更优，表明其在无需微调的情况下具备稳健的泛化能力，且无证据显示其依赖于混杂的机构特征。

ABSTRACT

Although there have been several recent advances in the application of deep learning algorithms to chest x-ray interpretation, we identify three major challenges for the translation of chest x-ray algorithms to the clinical setting. We examine the performance of the top 10 performing models on the CheXpert challenge leaderboard on three tasks: (1) TB detection, (2) pathology detection on photos of chest x-rays, and (3) pathology detection on data from an external institution. First, we find that the top 10 chest x-ray models on the CheXpert competition achieve an average AUC of 0.851 on the task of detecting TB on two public TB datasets without fine-tuning or including the TB labels in training data. Second, we find that the average performance of the models on photos of x-rays (AUC = 0.916) is similar to their performance on the original chest x-ray images (AUC = 0.924). Third, we find that the models tested on an external dataset either perform comparably to or exceed the average performance of radiologists. We believe that our investigation will inform rapid translation of deep learning algorithms to safe and effective clinical decision support tools that can be validated prospectively with large impact studies and clinical trials.

研究动机与目标

• 探究CheXpert竞赛中表现最佳的胸部X光模型是否能泛化至其训练数据中未包含的疾病，如结核病（TB）。
• 评估模型在X光片数字照片上的表现，以模拟在资源有限环境中胶片仍普遍使用时的真实临床应用场景。
• 评估模型在外部机构数据上的泛化能力，以应对模型偏差及在不同医疗环境中迁移能力差的担忧。
• 确定模型在决策过程中是否依赖非医学相关的混杂线索（如机构特异性伪影），而非临床相关特征。

提出的方法

• 本研究评估了CheXpert挑战赛排行榜上的前10名模型，所有模型均为使用DenseNet架构的集成模型。
• 模型在三个新测试集上重新运行：两个公开的TB数据集、一组X光片的智能手机照片，以及来自另一家机构的外部数据集。
• 通过AUC（受试者工作特征曲线下面积）衡量各项任务的性能，并与外部数据集上放射科医生的表现进行比较。
• 分析类激活图（CAMs），以评估模型是否聚焦于临床相关的解剖区域，而非混杂的伪影。
• 所有模型在测试过程中均未进行微调，且训练期间未包含TB或外部机构标签，确保对测试数据完全无暴露。
• 本研究使用CodaLab平台在新测试集上重新执行模型，以保持原始竞赛评估协议的完整性。

实验结果

研究问题

• RQ1 在基于美国、使用CheXpert标注数据训练的胸部X光模型，能否在未明确包含于其训练数据中的结核病上实现泛化？
• RQ2 当应用于X光片的数字照片时，这些模型的表现如何？这在资源有限环境中是常见的临床替代方案。
• RQ3 当在来自另一家无关机构的数据上评估时，这些模型是否仍能保持性能，表明其对分布偏移的鲁棒性？
• RQ4 模型在预测中是否依赖于非医学相关的、机构特异性的伪影或混杂线索，而非解剖学相关的特征？

主要发现

• 在未进行任何TB特异性训练或微调的情况下，前10名CheXpert模型在两个公开TB数据集上的平均AUC达到0.851，表明其对一种全球性重要疾病的零样本泛化能力极强。
• 在智能手机拍摄的X光片上的表现（AUC = 0.916）与在原始数字X光片上的表现（AUC = 0.924）几乎无差异，表明图像质量变化对性能影响极小。
• 在来自另一家机构的外部数据集上，模型的表现与放射科医生相当或更优，尤其在敏感性方面表现突出，即使未进行微调。
• 类激活图显示，模型聚焦于临床相关的解剖区域，而非混杂特征，表明其对非医学相关线索的依赖程度极低。
• 在CheXpert任务上的平均AUC是TB表现的强预测因子（R² = 0.78），表明标准任务上的泛化能力与罕见疾病上的表现存在相关性。
• 结果表明，现有胸部X光模型可能在无需额外工程的情况下，实现跨机构、跨模态和跨疾病的泛化，挑战了以往关于模型脆弱性的担忧。