[论文解读] Cheap Lunch for Medical Image Segmentation by Fine-tuning SAM on Few Exemplars

Weijia Feng, Lingting Zhu+1 more|arXiv (Cornell University)|Aug 27, 2023

Advanced Neural Network Applications被引用 8

一句话总结

本论文在少量 exemplar 医学影像上通过 exemplar-guided 数据合成和低秩适应（LoRA）对 Segment Anything Model（SAM）进行微调，在 BraTS 和 Synapse 数据集上实现了在标注有限的情况下具有竞争力的分割性能。

ABSTRACT

The Segment Anything Model (SAM) has demonstrated remarkable capabilities of scaled-up segmentation models, enabling zero-shot generalization across a variety of domains. By leveraging large-scale foundational models as pre-trained models, it is a natural progression to fine-tune SAM for specific domains to further enhance performances. However, the adoption of foundational models in the medical domain presents a challenge due to the difficulty and expense of labeling sufficient data for adaptation within hospital systems. In this paper, we introduce an efficient and practical approach for fine-tuning SAM using a limited number of exemplars, making it suitable for such scenarios. Our approach combines two established techniques from the literature: an exemplar-guided synthesis module and the widely recognized Low-Rank Adaptation (LoRA) fine-tuning strategy, serving as data-level and model-level attempts respectively. Interestingly, our empirical findings suggest that SAM can be effectively aligned within the medical domain even with few labeled data. We validate our approach through experiments on brain tumor segmentation (BraTS) and multi-organ CT segmentation (Synapse). The comprehensive results underscore the feasibility and effectiveness of such an approach, paving the way for the practical application of SAM in the medical domain.

研究动机与目标

• 通过将 SAM 适配到少量范例，降低医学影像分割的标注负担。
• 提出一个范例引导的数据合成模块以生成合成训练数据。
• 应用基于 LoRA 的微调以保持可训练参数量较小。
• 在 BraTS 2018 脑肿瘤分割和 Synapse 多器官 CT 分割上评估该方法。
• 证明在医学领域进行成本高效的 SAM 适配的可行性。

提出的方法

• 通过几何和强度变换以及背景粘贴进行范例引导的合成训练数据创建。
• 在图像编码器和掩码解码器上使用低秩适应（LoRA）对 SAM 进行微调，更新参数量为 6.32M（秩 r=4）。
• 在训练期间使用基于点的提示以将类别提示纳入所有目标器官/类别。
• 使用联合损失 L = LCE + 0.8*LDice 进行优化，选用 AdamW、学习率预热与衰减。

实验结果

研究问题

• RQ1 SAM 是否能够用极少标签的示例有效对齐到医学分割任务？
• RQ2 在标注稀缺时，基于范例的数据合成加 LoRA 微调是否能优于零样本 SAM 及其他基线？
• RQ3 BraTS 与 Synapse 数据集上的标注工作量与分割精度之间的权衡如何？
• RQ4 在不同的范例数量（0.5%、1%、3%）以及有/无数据合成的情况下，该方法的表现如何？

主要发现

Dataset	Methods	Exemplar Nums	DSC ↑	HD ↓
BraTS 2018	SAM (Zero-Shot)	-	45.29	54.74
BraTS 2018	SAMed (w/ Data Synthesis)	75 (0.5%)	82.80	28.03
BraTS 2018	SAMed (w/ Data Synthesis)	150 (1%)	82.50	43.99
BraTS 2018	SAMed (w/ Data Synthesis)	450 (3%)	85.53	17.56
BraTS 2018	Ours	75 (0.5%)	82.78	14.92
BraTS 2018	Ours	150 (1%)	83.40	10.03
BraTS 2018	Ours	450 (3%)	83.07	16.94
BraTS 2018	Full Set (Pseudo Upper Bound)	Total Nums	85.28	7.91
Synapse	SAM (Zero-Shot)	-	74.54	40.90
Synapse	SAMed	9 (one per two volumes)	43.82	96.21
Synapse	SAMed	18 (one per volume)	55.26	75.02
Synapse	SAMed	36 (two per volume)	66.96	44.69
Synapse	Ours	1 (one exemplar)	75.91	21.75
Synapse	Ours	9 (one per two volumes)	79.08	21.62
Synapse	Ours	18 (one per volume)	83.04	16.84
Synapse	Ours	36 (two per volume)	84.23	11.86
Synapse	Full Set	Total Nums	85.95	8.97

• 在 BraTS 2018 上，提出的方法在少量范例条件下接近全量集性能，并优于零样本 SAM 与 SAMed 在 HD95 指标上的表现。
• 在 Synapse 上，使用合成数据与少量范例在多个器官上获得强劲的 Dice 与 HD95 分数，通常超过没有合成的 SAM，并接近全量集性能。
• 数据合成对比仅使用范例的情况在两个数据集上均能持续提升结果。
• 在某些配置下，使用 1 个范例就已优于 SAM（ViT-H）零样本；增加范例数能进一步提升性能。
• 在相对较低端的硬件（RTX 3090 GPU）上，训练是可行的， trainable 参数为 6.32M（LoRA 秩 4）。