[论文解读] Deep Mining External Imperfect Data for Chest X-ray Disease Screening

Luyang Luo, Lequan Yu+5 more|arXiv (Cornell University)|Jun 6, 2020

COVID-19 diagnosis using AI参考文献 54被引用 7

一句话总结

本文提出了一种新颖的框架，通过在多个不完美的外部数据集上联合训练，提升胸部X光片疾病分类性能，通过任务特定的对抗训练和不确定性感知的时间集成方法，解决领域和标签差异问题。在NIH测试集上实现了0.8349的AUC，达到当前最优性能，展示了从大规模、异构医学影像数据中挖掘知识的优越能力。

ABSTRACT

Deep learning approaches have demonstrated remarkable progress in automatic Chest X-ray analysis. The data-driven feature of deep models requires training data to cover a large distribution. Therefore, it is substantial to integrate knowledge from multiple datasets, especially for medical images. However, learning a disease classification model with extra Chest X-ray (CXR) data is yet challenging. Recent researches have demonstrated that performance bottleneck exists in joint training on different CXR datasets, and few made efforts to address the obstacle. In this paper, we argue that incorporating an external CXR dataset leads to imperfect training data, which raises the challenges. Specifically, the imperfect data is in two folds: domain discrepancy, as the image appearances vary across datasets; and label discrepancy, as different datasets are partially labeled. To this end, we formulate the multi-label thoracic disease classification problem as weighted independent binary tasks according to the categories. For common categories shared across domains, we adopt task-specific adversarial training to alleviate the feature differences. For categories existing in a single dataset, we present uncertainty-aware temporal ensembling of model predictions to mine the information from the missing labels further. In this way, our framework simultaneously models and tackles the domain and label discrepancies, enabling superior knowledge mining ability. We conduct extensive experiments on three datasets with more than 360,000 Chest X-ray images. Our method outperforms other competing models and sets state-of-the-art performance on the official NIH test set with 0.8349 AUC, demonstrating its effectiveness of utilizing the external dataset to improve the internal classification.

研究动机与目标

• 解决在来自多个来源的不完美、异构胸部X光片数据集上训练深度学习模型的挑战。
• 克服由于不同数据集间成像协议、视图和预处理差异导致的领域差异。
• 处理因部分标注和不同病理类别在各数据集间差异而产生的标签差异。
• 通过有效挖掘外部不完美数据中的知识，提升在内部数据集上的分类性能。
• 开发一种适用于多中心、多数据集训练的医学图像分析通用框架。

提出的方法

• 将多标签胸部疾病分类建模为加权独立二分类任务，以处理类别不平衡和部分标注问题。
• 应用任务特定的对抗训练，学习在各数据集间共享的常见类别上的领域不变特征。
• 引入不确定性感知的时间集成方法，逐步从单数据集独有发现中的未标注类别中挖掘隐藏知识。
• 采用三模块框架：任务特定加权（TW）、任务特定对抗训练（TAT）和不确定性感知时间集成（UTE），实现联合优化。
• 利用随时间变化的模型预测结果并结合不确定性估计，以稳定并提升对缺失标签的学习效果。
• 端到端训练，结合监督损失、对抗损失和一致性损失，以增强模型的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 如何有效整合具有显著领域和标签差异的外部胸部X光片数据集，以提升内部模型性能？
• RQ2 哪些技术可以缓解因成像协议、视图和预处理差异导致的领域偏移问题？
• RQ3 如何可靠地从部分标注数据中提取知识，其中某些类别在特定数据集中缺失？
• RQ4 不确定性感知的时间集成方法是否能改善对外部数据集中未见或罕见标注病理的模型学习？
• RQ5 结合多个不完美数据集对多中心医学图像分类中模型泛化能力和性能的影响是什么？

主要发现

• 所提方法在NIH测试集上实现了0.8349的SOTA AUC，优于现有模型。
• 在NIH干净子集上，使用TenCrop测试方法，该方法在气胸分类上达到0.925 AUC，接近在更大规模、重新标注数据集上训练的模型性能。
• 该方法对标签噪声表现出鲁棒性，在多个病理类别上均保持一致的性能提升。
• 与CheXpert和MIMIC-CXR等外部数据集联合训练后，NIH上的平均AUC达到0.8353，表明在增加更多数据时性能增益可能趋于饱和。
• 任务特定的对抗训练显著减少了常见类别上的领域偏移，提升了不同数据集间特征对齐效果。
• 不确定性感知的时间集成方法能有效挖掘缺失标签中的知识，尤其在罕见或数据集特异性病理方面表现突出。