[论文解读] CLIP-Driven Universal Model for Organ Segmentation and Tumor Detection

Jie Liu, Yixiao Zhang+8 more|arXiv (Cornell University)|Jan 2, 2023

Radiomics and Machine Learning in Medical Imaging被引用 18

一句话总结

引入一个由 CLIP 驱动的通用模型，通过文本嵌入编码解剖关系，以对 25 个器官进行分割并在 14 个公开数据集中检测 6 种肿瘤类型，取得最先进的结果并具备强泛化能力。

ABSTRACT

An increasing number of public datasets have shown a marked impact on automated organ segmentation and tumor detection. However, due to the small size and partially labeled problem of each dataset, as well as a limited investigation of diverse types of tumors, the resulting models are often limited to segmenting specific organs/tumors and ignore the semantics of anatomical structures, nor can they be extended to novel domains. To address these issues, we propose the CLIP-Driven Universal Model, which incorporates text embedding learned from Contrastive Language-Image Pre-training (CLIP) to segmentation models. This CLIP-based label encoding captures anatomical relationships, enabling the model to learn a structured feature embedding and segment 25 organs and 6 types of tumors. The proposed model is developed from an assembly of 14 datasets, using a total of 3,410 CT scans for training and then evaluated on 6,162 external CT scans from 3 additional datasets. We rank first on the Medical Segmentation Decathlon (MSD) public leaderboard and achieve state-of-the-art results on Beyond The Cranial Vault (BTCV). Additionally, the Universal Model is computationally more efficient (6x faster) compared with dataset-specific models, generalized better to CT scans from varying sites, and shows stronger transfer learning performance on novel tasks.

研究动机与目标

• 解决多个公开腹部数据集中部分标注和标注不一致的问题。
• 利用 CLIP 文本嵌入来编码解剖关系，以提升分割和肿瘤检测效果。
• 开发一个支持多种骨干网络并可在无需微调的情况下泛化到外部 CT 扫描的通用模型架构。
• 在 MSD 和 BTCV 基准测试中展示最先进的性能，并提供对下游任务的迁移性。

提出的方法

• 汇集 14 个公开数据集，总计 3,410 例 CT 扫描，包含 25 个部分标注的器官和 6 种肿瘤。
• 使用基于 CLIP 的文本嵌入作为解剖提示来引导分割，替代 one-hot 标签。
• 构造一个文本分支，通过一个多层感知网络在 CLIP 嵌入和全局图像特征的条件下生成类别特定参数。
• 对 CT 扫描进行标准化预处理，并应用视觉编码器，随后使用基于 1x1x1 卷积的文本驱动分割器。
• 实现掩蔽反向传播，仅在部分标注数据中具有标签的类别上进行训练。
• 以 Dice 相似系数（DSC）、归一化表面距离（NSD）、灵敏度、特异性以及肿瘤检测的调和平均数进行评估。

实验结果

研究问题

• RQ1 基于 CLIP 的标签嵌入能否捕捉解剖关系，以在部分标注数据集上提升多器官分割和肿瘤检测？
• RQ2 相比于数据集特定模型，利用文本提示的通用模型是否更能对外部 CT 数据和多样化扫描仪实现更好的泛化？
• RQ3 掩蔽反向传播在部分标签与数据不一致情形下对学习有何影响？
• RQ4 不同医疗提示对 CLIP 嵌入在分割性能上的影响是什么？
• RQ5 通用模型能否作为下游医疗影像任务的有效基础模型？

主要发现

• 基于 CLIP 的通用模型在 MSD 和 BTCV 基准上达到最先进的性能。
• 该模型在器官分割方面表现出高精度，六个器官与观测者内部变异性相匹配。
• 肿瘤检测在调和均值上表现出色，表明在各数据集上具有较高灵敏度且假阳性率较低。
• 推断速度约是数据集特定模型的 6 倍，显示出优越的效率。
• 该框架可对来自不同医院的 CT 扫描泛化，无需额外微调，骨干网络可在 CNN 与 Transformer 之间切换。
• 外部验证显示在 3D-IRCADb 和 JHH 数据集上具有稳健的泛化能力，优于先前的方法。