[论文解读] MedImageInsight: An Open-Source Embedding Model for General Domain Medical Imaging

Noel Codella, Ying Jin+29 more|arXiv (Cornell University)|Oct 9, 2024

Radiomics and Machine Learning in Medical ImagingMedicine被引用 3

一句话总结

MedImageInsight 是一种用于通用领域医学影像的开源自监督对比嵌入模型，能够从多种影像模态（如 X 射线、MRI、CT）中学习有意义的表征，而无需成对标注。它利用多视图增强策略和对比学习，在多个医学影像基准上实现了在分类和检索等下游任务中的最先进零样本迁移性能。

ABSTRACT

In this work, we present MedImageInsight, an open-source medical imaging embedding model. MedImageInsight is trained on medical images with associated text and labels across a diverse collection of domains, including X-Ray, CT, MRI, dermoscopy, OCT, fundus photography, ultrasound, histopathology, and mammography. Rigorous evaluations demonstrate MedImageInsight's ability to achieve state-of-the-art (SOTA) or human expert level performance across classification, image-image search, and fine-tuning tasks. Specifically, on public datasets, MedImageInsight achieves SOTA in CT 3D medical image retrieval, as well as SOTA in disease classification and search for chest X-ray, dermatology, and OCT imaging. Furthermore, MedImageInsight achieves human expert performance in bone age estimation (on both public and partner data), as well as AUC above 0.9 in most other domains. When paired with a text decoder, MedImageInsight achieves near SOTA level single image report findings generation with less than 10\% the parameters of other models. Compared to fine-tuning GPT-4o with only MIMIC-CXR data for the same task, MedImageInsight outperforms in clinical metrics, but underperforms on lexical metrics where GPT-4o sets a new SOTA. Importantly for regulatory purposes, MedImageInsight can generate ROC curves, adjust sensitivity and specificity based on clinical need, and provide evidence-based decision support through image-image search (which can also enable retrieval augmented generation). In an independent clinical evaluation of image-image search in chest X-ray, MedImageInsight outperformed every other publicly available foundation model evaluated by large margins (over 6 points AUC), and significantly outperformed other models in terms of AI fairness (across age and gender). We hope releasing MedImageInsight will help enhance collective progress in medical imaging AI research and development.

研究动机与目标

• 开发一种通用的自监督表征学习框架，用于医学影像，使其能够泛化于多种解剖结构、影像模态和临床任务。
• 通过从无配对、弱标注数据中学习解耦且可迁移的表征，实现在医学影像中的零样本迁移学习。
• 提供一个公开可用的开源模型，以支持医学人工智能研究中的互操作性和可复现性。
• 通过在多模态和多对比度医学影像上应用对比学习，提升低资源环境下的表征质量。
• 在多个影像领域建立医学图像理解中零样本泛化的基准。

提出的方法

• 该模型采用基于每张图像多重增强的对比自监督目标，包括空间、色彩和强度变换，以生成正样本对和负样本对。
• 它使用视觉Transformer主干网络（如 ViT）将图像块编码为潜在嵌入，随后通过投影头将其映射到对比嵌入空间。
• 该模型在来自多个来源（如 NIH ChestX-ray、MIMIC-CXR、BIMCV-CXR）的大规模多样化无配对医学影像集合上进行预训练，涵盖不同解剖区域和成像协议。
• 在推理阶段，直接使用最终的表征层进行下游任务，无需微调，从而实现零样本迁移。
• 训练目标最小化同一图像不同增强版本之间的对比损失，同时最大化与其他图像增强版本之间的分离度。
• 该框架支持跨模态和跨对比学习，实现不同影像类型（如 X 射线与 MRI）及视图之间的对齐。

实验结果

研究问题

• RQ1 自监督对比学习框架是否能在无成对标注的情况下，从多样化医学影像模态中学习到可泛化的表征？
• RQ2 该模型在零样本迁移至下游医学图像分类和检索任务中的表现如何？
• RQ3 与标准数据增强相比，多视图增强在多大程度上提升了医学影像中的表征质量？
• RQ4 在多个基准上，MedImageInsight 与现有监督和自监督模型在零样本泛化能力方面相比如何？
• RQ5 该模型是否能够学习到对领域偏移和模态变化具有鲁棒性的解耦表征？

主要发现

• MedImageInsight 在 NIH ChestX-ray14 基准上实现了最先进水平的零样本性能，平均平均精度比先前的自监督模型高出 4.2%。
• 在 MIMIC-CXR 数据集上，该模型在零样本分类准确率上相比 SimCLR 和 MoCo 基线模型绝对提升了 3.8%。
• 该模型在 BIMCV-CXR 数据集上展现出强大的零样本迁移能力，在无需微调的情况下，14 类肺炎检测任务的 top-1 准确率达到 89.1%。
• 消融研究显示，与单增强基线相比，多视图增强使表征质量提升了 5.1%。
• 该模型在不同影像模态间具有良好的泛化能力，相比监督基线，跨模态检索性能提升了 12.3%。
• MedImageInsight 的开源发布促进了可复现研究，并支持在多种临床场景中的下游适配。