[论文解读] MedAug: Contrastive learning leveraging patient metadata improves representations for chest X-ray interpretation

Yen Nhi Truong Vu, Richard Wang+4 more|arXiv (Cornell University)|Feb 21, 2021

COVID-19 diagnosis using AI参考文献 19被引用 27

一句话总结

MedAug 使用患者元数据在对比预训练中形成跨图像的正样本对，通过利用每位患者的多张图像提升胸部X线积液分类的性能。带元数据的负样本对策略未表现出显著收益。

ABSTRACT

Self-supervised contrastive learning between pairs of multiple views of the same image has been shown to successfully leverage unlabeled data to produce meaningful visual representations for both natural and medical images. However, there has been limited work on determining how to select pairs for medical images, where availability of patient metadata can be leveraged to improve representations. In this work, we develop a method to select positive pairs coming from views of possibly different images through the use of patient metadata. We compare strategies for selecting positive pairs for chest X-ray interpretation including requiring them to be from the same patient, imaging study or laterality. We evaluate downstream task performance by fine-tuning the linear layer on 1% of the labeled dataset for pleural effusion classification. Our best performing positive pair selection strategy, which involves using images from the same patient from the same study across all lateralities, achieves a performance increase of 14.4% in mean AUC from the ImageNet pretrained baseline. Our controlled experiments show that the keys to improving downstream performance on disease classification are (1) using patient metadata to appropriately create positive pairs from different images with the same underlying pathologies, and (2) maximizing the number of different images used in query pairing. In addition, we explore leveraging patient metadata to select hard negative pairs for contrastive learning, but do not find improvement over baselines that do not use metadata. Our method is broadly applicable to medical image interpretation and allows flexibility for incorporating medical insights in choosing pairs for contrastive learning.

研究动机与目标

• 通过使用患者元数据来改善医疗影像的自监督对比学习的动机。
• 开发一个灵活的方法（MedAug）以从共享患者属性的多张图像中形成正样本对。
• 在有限标签的情况下量化对胸部X线积液分类的下游收益。
• 分析哪些元数据（患者、研究、侧别）最有助于表征质量。
• 探索利用元数据的负样本策略并评估其影响。

提出的方法

• 提出 MedAug，通过收集来自同一患者且满足条件 c（例如同一研究、同一/不同的侧别）的图像来生成增强的增广集合。
• 使用 MoCo v2 预训练，采用 ResNet-18，20 轮训练，批量大小 16，学习率 1e-4，温度 0.2，以及一个 MLP 投影。
• 在冻结编码器输出的情况下微调一个线性分类器，并在 1% 标签数据下进行端到端微调。
• 评估形成正样本对的不同行为准则 c（相同患者、相同研究/不同侧别配置）对效果的影响。
• 与 ImageNet 和 MoCo v2 基线进行比较，并报告平均 AUC 及标准差。
• 可选地分析基于元数据（侧别）的负样本策略及其影响。

实验结果

研究问题

• RQ1 将患者元数据用于形成正样本对是否能改善医疗影像任务的预训练表征？
• RQ2 哪些元数据线索（患者、研究、侧别）最能提升下游的积液分类性能？
• RQ3 增加正样本对中不同图像的数量对表征质量是否有益？
• RQ4 基于元数据的负样本策略是否相较于标准 MoCo 基线带来收益？
• RQ5 基于元数据的正样本对在 CheXpert 的不同任务中除了积液之外的表现如何？

主要发现

• 最佳正样本对策略（同一患者、同一研究、所有侧别）在基线 MoCo v2 设置上实现了 3.4% 的线性 AUC 提升和 2.4% 的端到端 AUC 提升。
• 一般而言，使用同一患者的图像来选择正样本对可提升 AUC，唯在某些设置中包含不同研究号的图像时可能例外。
• 扩大正样本对的图像池（同一患者、同一研究、所有侧别）可以提升下游性能。
• 基于元数据（尤其是侧别） 的负样本策略未在 AUC 上超越默认的无元数据 MoCo 基线。
• 在 CheXpert 任务中，最佳的基于元数据的方法（同一患者、同一研究）在线性微调方面持续优于 ImageNet 和 MoCo 基线。
• 探索性负样本分析未带来一致的收益。