[论文解读] MoCo-Pretraining Improves Representations and Transferability of Chest X-ray Models

Hari Sowrirajan, Jing Yang+2 more|arXiv (Cornell University)|May 4, 2021

COVID-19 diagnosis using AI被引用 10

一句话总结

本研究证明，对 CheXpert 数据集进行 MoCo 预训练可显著提升胸部 X 光片解读的表征能力和迁移性能。仅使用 0.1% 的标注数据，MoCo 预训练模型在线性评估中实现 0.096 AUC 的增益，在端到端微调中实现 0.037 AUC 的增益，用于胸腔积液检测，且在不同标签比例下均表现出一致的性能提升，并成功迁移至深圳结核病数据集。

ABSTRACT

Self-supervised approaches such as Momentum Contrast (MoCo) can leverage unlabeled data to produce pretrained models for subsequent fine-tuning on labeled data. While MoCo has demonstrated promising results on natural image classification tasks, its application to medical imaging tasks like chest X-ray interpretation has been limited. Chest X-ray interpretation is fundamentally different from natural image classification in ways that may limit the applicability of self-supervised approaches, including that (1) classification depends on differences in a small number of pixels, (2) X-rays are large and grayscale, (3) there are far fewer unlabeled chest X-ray images than natural images. In this work, we investigate whether MoCo-pretraining leads to better representations or initializations for chest X-ray interpretation. We conduct MoCo-pretraining on CheXpert, a large labeled dataset of X-rays, followed by supervised fine-tuning experiments on the pleural effusion task. Using 0.1% of labeled training data, we find that a linear model trained on MoCo-pretrained representations outperforms one trained on representations without MoCo-pretraining by an AUC of 0.096 (95% CI 0.061, 0.130), indicating that MoCo-pretrained representations are of higher quality. Furthermore, a model fine-tuned end-to-end with MoCo-pretraining outperforms its non-MoCo-pretrained counterpart by an AUC of 0.037 (95% CI 0.015, 0.062) with the 0.1% label fraction. These AUC improvements are observed for all label fractions for both the linear model and an end-to-end fine-tuned model with the greater improvements for smaller label fractions. Finally, we observe similar results on a small, target chest X-ray dataset (Shenzhen dataset for tuberculosis) with MoCo-pretraining done on the source dataset (CheXpert), which suggests that pretraining on unlabeled X-rays can provide transfer learning benefits for a target task. Our study demonstrates that MoCo-pretraining provides high-quality representations and transferable initializations for chest X-ray interpretation.

研究动机与目标

• 探究 MoCo 自监督预训练是否能提升胸部 X 光片解读的表征质量。
• 评估 MoCo 预训练特征在标注数据有限的下游任务中的迁移能力。
• 评估 MoCo 预训练在低数据环境下是否能提供更优的微调初始化。
• 验证基于 MoCo 预训练，从源数据集（CheXpert）到目标数据集（深圳结核病）的迁移学习优势。

提出的方法

• 在大规模未标注胸部 X 光片数据集（CheXpert）上应用 MoCo（动量对比）自监督学习，以学习通用表征。
• 在下游胸腔积液分类任务中，使用不同比例的标注数据对 MoCo 学习到的特征进行微调。
• 评估线性探针（冻结 MoCo 特征的线性分类器）和端到端微调（完整模型微调）两种策略。
• 将深圳结核病数据集作为目标领域，测试在 CheXpert 上预训练的 MoCo 特征的零样本迁移能力。
• 使用 AUC 及其 95% 置信区间来衡量性能提升的统计显著性。
• 在多个标签比例和数据集上，将 MoCo 预训练模型与非预训练基线模型进行比较。

实验结果

研究问题

• RQ1 与非预训练模型相比，MoCo 预训练是否能提升胸部 X 光片图像学习表征的质量？
• RQ2 MoCo 预训练在标注数据有限的下游任务中，能在多大程度上增强迁移学习性能？
• RQ3 在不同标签比例下，MoCo 预训练模型在线性设置和端到端微调设置中的性能增益如何比较？
• RQ4 从 CheXpert 得到的 MoCo 预训练特征能否有效迁移到深圳数据集上的不同目标任务（如结核病检测）？

主要发现

• 仅使用 0.1% 的标注数据，基于 MoCo 预训练特征的线性模型相比非预训练基线模型，AUC 提升了 0.096（95% 置信区间：0.061, 0.130）。
• 在 0.1% 数据下，使用 MoCo 预训练权重的端到端微调模型相比其非预训练对应模型，AUC 提升了 0.037（95% 置信区间：0.015, 0.062）。
• MoCo 预训练带来的性能增益在所有标签比例下均一致可观测，且在低数据环境下相对提升更大。
• 从 CheXpert（源）到深圳结核病数据集（目标）的迁移学习实现了类似的性能增益，证实了 MoCo 特征的可迁移性。
• MoCo 预训练生成了质量更高的表征，即使在极端数据稀缺条件下也能更好地泛化至下游任务。
• 结果表明，MoCo 预训练不仅提供了更优的表征，还为胸部 X 光片解读提供了更优的模型初始化。