[论文解读] Deep Learning Applied to Chest X-Rays: Exploiting and Preventing Shortcuts

Sarah Jabbour, David F. Fouhey+3 more|arXiv (Cornell University)|Sep 21, 2020

Radiomics and Machine Learning in Medical Imaging被引用 9

一句话总结

本文研究了胸部X光影像上的深度学习模型如何利用虚假相关性（如年龄、性别或起搏器存在）作为捷径，而非学习临床相关的疾病特征。该研究提出一种简单的迁移学习方法：在无偏的源任务（如肺炎）上进行预训练，并仅在有偏的目标任务（如充血性心力衰竭）上微调最后一层，从而在数据分布倾斜的情况下将AUROC从0.66提升至0.84。

ABSTRACT

While deep learning has shown promise in improving the automated diagnosis of disease based on chest X-rays, deep networks may exhibit undesirable behavior related to shortcuts. This paper studies the case of spurious class skew in which patients with a particular attribute are spuriously more likely to have the outcome of interest. For instance, clinical protocols might lead to a dataset in which patients with pacemakers are disproportionately likely to have congestive heart failure. This skew can lead to models that take shortcuts by heavily relying on the biased attribute. We explore this problem across a number of attributes in the context of diagnosing the cause of acute hypoxemic respiratory failure. Applied to chest X-rays, we show that i) deep nets can accurately identify many patient attributes including sex (AUROC = 0.96) and age (AUROC >= 0.90), ii) they tend to exploit correlations between such attributes and the outcome label when learning to predict a diagnosis, leading to poor performance when such correlations do not hold in the test population (e.g., everyone in the test set is male), and iii) a simple transfer learning approach is surprisingly effective at preventing the shortcut and promoting good generalization performance. On the task of diagnosing congestive heart failure based on a set of chest X-rays skewed towards older patients (age >= 63), the proposed approach improves generalization over standard training from 0.66 (95% CI: 0.54-0.77) to 0.84 (95% CI: 0.73-0.92) AUROC. While simple, the proposed approach has the potential to improve the performance of models across populations by encouraging reliance on clinically relevant manifestations of disease, i.e., those that a clinician would use to make a diagnosis.

研究动机与目标

• 研究深度神经网络在胸部X光数据中如何利用虚假相关性，例如人口统计学特征或影像采集协议的偏差。
• 理解当在测试集中应用到具有不同属性分布的新患者群体时，此类捷径如何降低模型的泛化能力。
• 评估一种迁移学习方法：在无偏的源任务上进行预训练，并仅微调最后一层，以减少对捷径特征的依赖。
• 评估该方法是否能在不依赖数据偏移先验知识的前提下，提升在有偏诊断任务上的性能。

提出的方法

• 该方法采用两阶段训练流程：首先在源任务（如肺炎）上使用大规模、多样化的数据集（如MIMIC-CXR和CheXpert）对深度卷积神经网络（DenseNet）进行预训练。
• 随后，仅在目标诊断任务（如充血性心力衰竭）上对模型的最后一层（线性分类器）进行微调，使用有偏的训练数据。
• 该方法假设从源任务中学到的特征（如肺部浸润或液体模式）在不同诊断之间具有可迁移性且具有临床相关性。
• 在受控的数据偏移条件下评估该方法，其中人工关联了合成属性（如年龄、性别）与目标标签。
• 通过在具有不同程度属性偏移的保留测试集上测量AUROC来评估性能，与标准端到端训练及其他微调基线进行比较。
• 在多种合成和真实世界中的有偏数据分布上测试该方法，以评估其鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 深度神经网络在单张胸部X光片上能以多高准确度识别患者属性（如年龄、性别、BMI）？
• RQ2 当测试集中患者属性分布发生变化时，患者属性与疾病标签之间的虚假相关性如何影响模型的泛化能力？
• RQ3 一种在无偏源任务上预训练并在仅微调最后一层的迁移学习方法，能否缓解捷径学习并提升在有偏诊断任务上的性能？
• RQ4 当数据偏移程度不同时，该方法的性能表现如何，尤其是在源任务本身与有偏属性存在一定相关性的情况下？
• RQ5 该方法是否能在不同类型偏见（如年龄、性别、图像预处理）下依然保持泛化能力并提升模型鲁棒性？

主要发现

• 深度神经网络能从单张胸部X光片中以AUROC = 0.96识别性别，以AUROC ≥ 0.90识别年龄，表明其对非疾病相关特征的学习能力极强。
• 当训练数据中存在虚假相关性（如年长患者更可能患有CHF）时，模型会依赖这些捷径，导致在测试集中相关性不成立时（如全为男性患者）性能显著下降。
• 在数据集存在偏移的情况下（如≥63岁患者在CHF诊断的训练集中被过度代表），标准训练方法的AUROC仅为0.66（95%置信区间：0.54–0.77），表明泛化能力差。
• 所提出的迁移学习方法——在肺炎任务上预训练并在最后一层微调——将AUROC提升至0.84（95%置信区间：0.73–0.92），显著优于标准训练方法。
• 即使源任务（如肺炎）与有偏属性存在轻微相关性，该方法仍保持有效性，表明其对现实世界数据缺陷具有鲁棒性。
• 当偏移程度极端（如近乎完美相关）时性能会下降，但该方法仍优于标准训练，表明其部分缓解了捷径学习。