Skip to main content
QUICK REVIEW

[论文解读] MedCLIP: Contrastive Learning from Unpaired Medical Images and Text

Zifeng Wang, Zhenbang Wu|arXiv (Cornell University)|Oct 18, 2022
Multimodal Machine Learning ApplicationsComputer Science被引用 28
一句话总结

MedCLIP 将图像和文本流用于医学视觉-语言对比学习的解耦,并使用基于知识驱动的语义匹配损失来提高数据效率,实现强大的零-shot、有监督和检索性能。

ABSTRACT

Existing vision-text contrastive learning like CLIP aims to match the paired image and caption embeddings while pushing others apart, which improves representation transferability and supports zero-shot prediction. However, medical image-text datasets are orders of magnitude below the general images and captions from the internet. Moreover, previous methods encounter many false negatives, i.e., images and reports from separate patients probably carry the same semantics but are wrongly treated as negatives. In this paper, we decouple images and texts for multimodal contrastive learning thus scaling the usable training data in a combinatorial magnitude with low cost. We also propose to replace the InfoNCE loss with semantic matching loss based on medical knowledge to eliminate false negatives in contrastive learning. We prove that MedCLIP is a simple yet effective framework: it outperforms state-of-the-art methods on zero-shot prediction, supervised classification, and image-text retrieval. Surprisingly, we observe that with only 20K pre-training data, MedCLIP wins over the state-of-the-art method (using around 200K data). Our code is available at https://github.com/RyanWangZf/MedCLIP.

研究动机与目标

  • 通过将图像和文本解耦来解决医学视觉语言预训练中的数据不足问题。
  • 利用医学知识在对比学习中减少假阴性。
  • 实现使用未配对的医学图像和报告进行训练,以扩大监督规模。
  • 在多个数据集上评估零-shot、有监督分类和图像文本检索。

提出的方法

  • 使用独立的视觉和文本编码器,并配备投影头以产生维度为 P 的嵌入。
  • 解耦图像-文本对,以从仅图像和仅文本数据集中实现组合监督。
  • 从报告中提取医学实体并将图像标签映射到 UMLS 概念,以构建语义相似向量。
  • 从 l_img 和 l_txt 计算软语义目标 s,并使用语义匹配损失进行训练(软目标与模型对数的交叉熵)。
  • 在归一化的嵌入之间使用余弦相似度作为对数值,并在 softmax 的交叉熵损失中应用温度 tau。
  • 将双向语义匹配损失取平均以形成最终训练目标。

实验结果

研究问题

  • RQ1通过解耦图像和文本,MedCLIP 是否能够实现数据高效、有效的医学视觉语言预训练?
  • RQ2以医学知识驱动的语义匹配损失是否能减少对比学习中的假阴性?
  • RQ3在医学数据集上的零-shot、有监督分类和图像文本检索方面,MedCLIP 的表现如何?
  • RQ4学习到的嵌入是否可迁移到下游临床任务,并且在跨领域场景下是否具有鲁棒性?

主要发现

  • MedCLIP 在四个数据集上实现高于基线的零-shot 准确率,同时使用显著更少的预训练数据(例如在数据量约少10倍的情况下超越 GLoRIA)。
  • MedCLIP 在所评估的设置中提升了图像-文本检索任务的检索精度。
  • 使用 MedCLIP 特征进行微调可获得强劲的下游分类性能,甚至在资源匮乏场景下常与有监督基线相近或超越。
  • MedCLIP 学习的嵌入比 CLIP 类基线形成更明显的医学语义簇,如定性可视化所示。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。