[论文解读] MedCLIP-SAMv2: Towards Universal Text-Driven Medical Image Segmentation

Taha Koleilat, Hojat Asgariandehkordi+2 more|arXiv (Cornell University)|Sep 28, 2024

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

MedCLIP-SAMv2 提出了一种新颖的文本驱动医学图像分割框架，通过将微调后的 BiomedCLIP 与 Segment-Anything-Model (SAM) 相结合，实现在 CT、MRI、超声和 X 射线图像上的零样本及弱监督分割。通过采用一种新型的解耦硬负样本对比损失（DHN-NCE）和多模态信息瓶颈（M2IB）以生成视觉提示，该方法在极少标注数据下实现了最先进性能，在复杂肿瘤分割任务中显著优于先前方法。

ABSTRACT

Segmentation of anatomical structures and pathological regions in medical images is essential for modern clinical diagnosis, disease research, and treatment planning. While significant advancements have been made in deep learning-based segmentation techniques, many of these methods still suffer from limitations in data efficiency, generalizability, and interactivity. As a result, developing precise segmentation methods that require fewer labeled datasets remains a critical challenge in medical image analysis. Recently, the introduction of foundation models like CLIP and Segment-Anything-Model (SAM), with robust cross-domain representations, has paved the way for interactive and universal image segmentation. However, further exploration of these models for data-efficient segmentation in medical imaging is still needed and highly relevant. In this paper, we introduce MedCLIP-SAMv2, a novel framework that integrates the CLIP and SAM models to perform segmentation on clinical scans using text prompts, in both zero-shot and weakly supervised settings. Our approach includes fine-tuning the BiomedCLIP model with a new Decoupled Hard Negative Noise Contrastive Estimation (DHN-NCE) loss, and leveraging the Multi-modal Information Bottleneck (M2IB) to create visual prompts for generating segmentation masks from SAM in the zero-shot setting. We also investigate using zero-shot segmentation labels within a weakly supervised paradigm to enhance segmentation quality further. Extensive testing across four diverse segmentation tasks and medical imaging modalities (breast tumor ultrasound, brain tumor MRI, lung X-ray, and lung CT) demonstrates the high accuracy of our proposed framework. Our code is available at https://github.com/HealthX-Lab/MedCLIP-SAMv2.

研究动机与目标

• 通过在极少标注数据下实现零样本和弱监督学习，解决医学图像分割中的数据稀缺关键挑战。
• 在无需任务特定微调的前提下，提升分割模型在多种医学影像模态（CT、MRI、超声、X 射线）下的泛化能力和鲁棒性。
• 开发一种支持交互式、文本驱动分割的框架，利用自然语言提示提升临床可用性和可解释性。
• 通过在弱监督设置中估计不确定性，增强模型可靠性，使临床医生能够识别高风险预测区域。
• 克服 SAM 对提示依赖的局限性，通过基于 CLIP 表征生成可靠的视觉提示，而无需真实分割标签。

提出的方法

• 提出一种新型微调损失——解耦硬负样本对比损失（DHN-NCE），以改善 BiomedCLIP 在医学图像-文本对齐任务中的表示学习能力。
• 引入多模态信息瓶颈（M2IB），从文本嵌入生成高质量视觉提示，实现通过 SAM 进行零样本分割。
• 利用大语言模型（LLM）推理与集成技术进行文本提示工程，优化提示质量，提升复杂解剖区域的分割精度。
• 在弱监督设置中，利用零样本分割生成的伪标签对 nnUNet 进行微调，从而在如肺部 CT 等复杂数据集上提升性能。
• 在弱监督训练中引入检查点集成技术以估计不确定性，为分割预测提供置信度评分。
• 将基于 CLIP 的视觉提示生成与 SAM 的零样本掩码头相结合，实现无需推理阶段真实标注的高精度分割掩码。

实验结果

研究问题

• RQ1 像 BiomedCLIP 这类视觉-语言基础模型能否通过新型对比损失（DHN-NCE）有效微调，从而提升零样本医学图像分割性能？
• RQ2 多模态信息瓶颈（M2IB）在多大程度上能够生成高质量视觉提示，以实现在零样本设置下基于 SAM 的准确分割？
• RQ3 当结合大语言模型推理与集成技术时，文本提示工程在不同解剖结构和影像模态下的分割性能有何影响？
• RQ4 能否有效利用零样本分割生成的伪标签，在弱监督设置中提升模型精度，特别是在肺部肿瘤等复杂 3D 结构的 CT 扫描中？
• RQ5 通过在伪标签数据上进行检查点集成实现的不确定性估计，是否能增强低数据场景下的临床信任度与预测可靠性？

主要发现

• MedCLIP-SAMv2 在四种医学影像模态（CT、MRI、超声、X 射线）的零样本分割任务中均达到最先进性能，超越现有 SOTA 方法。
• M2IB 与 DHN-NCE 的集成显著提升了零样本分割精度，尤其在检测小而复杂的结构（如脑部和乳腺肿瘤）方面表现突出。
• 经大语言模型推理与集成增强的文本提示在需要精细解剖理解的复杂任务中产生更优的分割结果。
• 利用零样本分割生成的伪标签进行弱监督训练，显著提升了模型性能，尤其在肺部 CT 分割任务中提升最大。
• 通过在伪标签数据上进行检查点集成实现的不确定性估计，提供了具有临床价值的置信度评分，有助于识别高风险预测区域。
• SAM 对次优视觉提示表现出强鲁棒性，即使使用粗略或不完美的提示，仍能保持高性能，凸显其在真实世界场景中的泛化能力。