[论文解读] Leveraging Foundation Models for Content-Based Image Retrieval in Radiology

Stefan Denner, David Zimmerer+9 more|arXiv (Cornell University)|Mar 11, 2024

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

本文提出将视觉基础模型——特别是弱监督模型如BiomedCLIP——作为现成的特征提取器，用于放射科中的基于内容的医学图像检索（CBIR）。在涵盖四种模态和185种病理性状的160万张图像数据集上进行基准测试表明，BiomedCLIP在未进行微调的情况下实现了0.594的P@1，优于专用模型，并展现出在多种病理性状上的强大泛化能力。

ABSTRACT

Content-based image retrieval (CBIR) has the potential to significantly improve diagnostic aid and medical research in radiology. However, current CBIR systems face limitations due to their specialization to certain pathologies, limiting their utility. On the other hand, several vision foundation models have been shown to produce general-purpose visual features. Therefore, in this work, we propose using vision foundation models as powerful and versatile off-the-shelf feature extractors for content-based image retrieval. Our contributions include: (1) benchmarking a diverse set of vision foundation models on an extensive dataset comprising 1.6 million 2D radiological images across four modalities and 161 pathologies; (2) identifying weakly-supervised models, particularly BiomedCLIP, as highly effective, achieving a achieving a P@1 of up to 0.594 (P@3: 0.590, P@5: 0.588, P@10: 0.583), comparable to specialized CBIR systems but without additional training; (3) conducting an in-depth analysis of the impact of index size on retrieval performance; (4) evaluating the quality of embedding spaces generated by different models; and (5) investigating specific challenges associated with retrieving anatomical versus pathological structures. Despite these challenges, our research underscores the vast potential of foundation models for CBIR in radiology, proposing a shift towards versatile, general-purpose medical image retrieval systems that do not require specific tuning. Our code, dataset splits and embeddings are publicly available under https://github.com/MIC-DKFZ/foundation-models-for-cbmir.

研究动机与目标

• 解决当前CBIR系统泛化能力有限的问题，这些系统通常仅在少数特定病理性状上进行训练。
• 探究基础模型是否能在无需任务特定微调的情况下，作为多功能通用特征提取器用于医学图像检索。
• 在大规模、多模态、多病理性状的放射科数据集上，评估多样化基础模型（监督、自监督和弱监督）的性能。
• 分析检索病理性结构与解剖学结构的挑战，并评估索引大小对检索性能的影响。
• 通过公开发布代码、数据集和嵌入向量，为未来研究提供全面基准。

提出的方法

• 将四个公开数据集（RadImageNet、NIH14、MIMIC、CheXpert）整合为一个统一的160万张2D放射科图像集合，涵盖CT、MR、X光和超声模态。
• 使用12种视觉基础模型（包括ResNet、ViT、SAM、MedSAM、CLIP、MedCLIP、BiomedCLIP、MAE和DINOv2）进行特征提取，且未进行微调。
• 利用FAISS对图像嵌入向量进行索引，以实现高效的相似性搜索，并使用P@1和平均平均精度（mAP）评估检索性能。
• 通过改变每类索引样本数量（5至3000）进行消融研究，以评估性能饱和点和聚类行为。
• 通过k近邻分类和线性探测（F1分数和AUPRC）评估嵌入空间质量，以衡量聚类效果和特征相关性。

实验结果

研究问题

• RQ1 视觉基础模型作为医学图像检索的特征提取器，其性能如何？
• RQ2 视觉基础模型的性能与专用的、病理性特定的CBIR系统相比如何？
• RQ3 索引大小对医学CBIR系统检索性能有何影响？
• RQ4 视觉基础模型的嵌入空间在捕捉病理性结构方面，与解剖学结构相比表现如何？

主要发现

• BiomedCLIP在完整数据集上实现了最高的P@1（0.594），且未进行任何微调，优于甚至超过专用模型。
• 弱监督模型（如BiomedCLIP和CLIP）展现出更优的泛化能力，其中BiomedCLIP在嵌入空间中表现出最佳聚类效果（kNN F1：0.667宏平均）。
• 当每类索引样本数达到约1000时，检索性能趋于饱和，表明超过此点后收益递减。
• 解剖学类别比病理性类别检索更准确，表明病理性特征在嵌入空间中更难区分。
• CLIP在线性分类任务中表现最佳（AUPRC：0.743微平均），表明其对病理性特征具有极强的特征质量，尽管并非专为医学设计。
• 自监督模型（如DINOv2和ViT）在线性探测中表现强劲，表明在使用医学数据进行微调后，其在CBIR中具有巨大潜力。