[论文解读] MedSelect: Selective Labeling for Medical Image Classification Combining Meta-Learning with Deep Reinforcement Learning

Akshay Smit, Damir Vrabac+4 more|arXiv (Cornell University)|Mar 26, 2021

COVID-19 diagnosis using AI参考文献 25被引用 4

一句话总结

MedSelect 提出了一种基于元学习和深度强化学习的选择性标注方法，用于医学图像分类，利用对比预训练嵌入来指导可训练的选择器，其在选择具有信息量的胸部X光片方面优于随机选择、聚类和基于元数据的策略。该方法在未见过的疾病条件下也表现出良好的泛化能力，并能选择在嵌入空间中更相似、且年龄和性别分布更均衡的图像。

ABSTRACT

We propose a selective learning method using meta-learning and deep reinforcement learning for medical image interpretation in the setting of limited labeling resources. Our method, MedSelect, consists of a trainable deep learning selector that uses image embeddings obtained from contrastive pretraining for determining which images to label, and a non-parametric selector that uses cosine similarity to classify unseen images. We demonstrate that MedSelect learns an effective selection strategy outperforming baseline selection strategies across seen and unseen medical conditions for chest X-ray interpretation. We also perform an analysis of the selections performed by MedSelect comparing the distribution of latent embeddings and clinical features, and find significant differences compared to the strongest performing baseline. We believe that our method may be broadly applicable across medical imaging settings where labels are expensive to acquire.

研究动机与目标

• 为解决医学图像分类中专家标注数据有限的挑战，开发一种选择性标注策略以降低标注成本。
• 通过学习医学图像的最优选择策略，在减少标注样本数量的情况下提升模型性能。
• 在推理阶段实现对元训练中未见过的医学病症的泛化能力。
• 分析所选图像在嵌入空间、年龄、性别和投照类型方面的分布特性，以理解选择偏差和策略有效性。
• 在标注成本高且耗时的临床实际流程中，证明该方法的实用性。

提出的方法

• MedSelect 采用可训练的深度强化学习选择器，利用对比预训练得到的图像嵌入，决定从1,000张未标注的胸部X光片中选择哪些进行标注。
• 选择器输出未标注数据池上的概率分布，从中采样K张图像供专家标注。
• 基于余弦相似度的非参数分类器在标注的支持集上进行训练，并在查询集上进行评估，以AUC作为奖励信号。
• 选择器通过策略梯度和反向传播进行端到端训练，优化查询集上的高AUC性能。
• 该方法采用元学习框架，包含10,000个元训练任务，每个任务是针对特定医学病症（如肺水肿、肺不张）的二分类问题。
• 通过在保留的病症（肺水肿和肺不张）上进行评估，测试其零样本泛化能力。

实验结果

研究问题

• RQ1 通过元学习训练的基于深度强化学习的选择器，是否能在标注数据有限的医学图像分类任务中，优于启发式选择策略？
• RQ2 MedSelect 是否能在元训练中未见过的医学病症上实现泛化，表现出零样本泛化能力？
• RQ3 与基线策略相比，所选图像在潜在嵌入空间的接近度、年龄、性别和投照类型方面有何差异？
• RQ4 所选图像的分布与随机选择相比，在年龄和嵌入相似性方面是否存在显著差异？
• RQ5 选择策略对模型性能的影响如何，以在未见查询集上的AUC衡量？

主要发现

• MedSelect 在已见和未见医学病症上的AUC性能显著优于随机选择、基于聚类的选择策略以及基于元数据的启发式策略。
• 在保留的病症（肺水肿和肺不张）上，MedSelect 的平均AUC达到0.85，优于次佳基线4.2个百分点（p < 0.001）。
• 与聚类基线相比，MedSelect 选择的X光片在嵌入空间中更接近，平均成对L2距离为7.76 vs. 8.22（p < 0.001）。
• 该方法选择的患者性别分布更均衡，且主要选择前后位X光片，而基线策略则表现出更强的偏差。
• MedSelect 下所选X光片年龄的经验分布与随机选择相比存在显著差异，Wasserstein距离为13.58，而聚类基线为8.43（p < 0.001）。
• MedSelect 下所选嵌入之间成对L2距离的分布与随机选择相比也存在显著差异，Wasserstein距离为2.01，而聚类基线为1.22（p < 0.001）。