[论文解读] MoCo-CXR: MoCo Pretraining Improves Representation and Transferability of Chest X-ray Models

Hari Sowrirajan, Jingbo Yang+2 more|arXiv (Cornell University)|Oct 11, 2020

COVID-19 diagnosis using AI参考文献 28被引用 52

一句话总结

MoCo-CXR 将 Momentum Contrast 预训练应用于胸部 X 线图像，产生比 ImageNet 预训练更高质量的表示，并在数据标注有限时具有更好的迁移能力。

ABSTRACT

Contrastive learning is a form of self-supervision that can leverage unlabeled data to produce pretrained models. While contrastive learning has demonstrated promising results on natural image classification tasks, its application to medical imaging tasks like chest X-ray interpretation has been limited. In this work, we propose MoCo-CXR, which is an adaptation of the contrastive learning method Momentum Contrast (MoCo), to produce models with better representations and initializations for the detection of pathologies in chest X-rays. In detecting pleural effusion, we find that linear models trained on MoCo-CXR-pretrained representations outperform those without MoCo-CXR-pretrained representations, indicating that MoCo-CXR-pretrained representations are of higher-quality. End-to-end fine-tuning experiments reveal that a model initialized via MoCo-CXR-pretraining outperforms its non-MoCo-CXR-pretrained counterpart. We find that MoCo-CXR-pretraining provides the most benefit with limited labeled training data. Finally, we demonstrate similar results on a target Tuberculosis dataset unseen during pretraining, indicating that MoCo-CXR-pretraining endows models with representations and transferability that can be applied across chest X-ray datasets and tasks.

研究动机与目标

• 利用未标注的胸部 X 线数据，通过对比学习预训练来学习鲁棒的表示。
• 针对胸部 X 线的特征，使用合适的数据增强和训练设置来改编 MoCo。
• 在不同标注数据规模下，评估表示质量和对外部数据集的可迁移性。
• 展示使用 MoCo-CXR 初始化进行端到端微调的优势。
• 证明 MoCo-CXR 能够迁移到超出预训练领域的外部数据集。

提出的方法

• 在 CheXpert 上进行预训练，使用针对胸部 X 线的修改 MoCo 设置和特定的数据增强（随机旋转和水平翻转）。
• 从 ImageNet 权重初始化，以在 MoCo 预训练前利用收敛性优势。
• 使用动量对比队列，以实现适合大型 X 线图像的小批量大小。
• 使用 CheXpert 和 Shenzhen 数据进行微调，采用不同标签比例和两种骨干网络（ResNet18、DenseNet121）。
• 通过冻结的骨干网络使用线性分类器评估表示，并评估端到端微调性能。
• 用自举法在 500 次测试重复中评估统计显著性。

实验结果

研究问题

• RQ1 在胸部 X 线任务的线性评估中，MoCo-CXR 表现是否优于 ImageNet 预训练的表示？
• RQ2 当标注数据稀缺时，MoCo-CXR 预训练是否带来更大收益？
• RQ3 从 CheXpert 学习的表示能否迁移到一个具有不同任务的外部胸部 X 线数据集（Shenzhen）？
• RQ4 与 ImageNet 初始化相比，MoCo-CXR 初始化是否能提升端到端微调的性能？

主要发现

• MoCo-CXR 预训练的线性模型在线性评估中持续优于 ImageNet 预训练的线性模型，在极低标签比例下收益显著（例如 0.1% 标签：0.096 的 AUC 提升；95% CI 0.061, 0.130）。
• 端到端的 MoCo-CXR 预训练模型在低标签数据比例下获得更大提升（例如 0.1%：0.037 AUC 提升；95% CI 0.015, 0.062）。
• MoCo-CXR 表示迁移到外部 Shenzhen 结核数据集，线性模型在 6.25% 标签比例下对比 ImageNet 提高 0.054 AUC（95% CI 0.024, 0.086）。
• 在 Shenzhen 的端到端改进小于线性迁移，暗示在有限数据下可能趋于饱和，但仍有非零增益。
• MoCo-CXR 的收益在 CheXpert 的多种任务（胸腔积液等）以及两种骨干网络 ResNet18 和 DenseNet121 上持续存在。