[논문 리뷰] Cheap Lunch for Medical Image Segmentation by Fine-tuning SAM on Few Exemplars

Weijia Feng, Lingting Zhu외 1명|arXiv (Cornell University)|2023. 08. 27.

Advanced Neural Network Applications인용 수 8

한 줄 요약

논문은 BraTS 및 Synapse 데이터셋에서 제한된 주석으로 exemplar-guided 데이터 합성 및 LoRA를 사용하여 샘플 하나로도 Segment Anything Model(SAM)을 의료 영상 분할에 적합하게 미세조정한다.

ABSTRACT

The Segment Anything Model (SAM) has demonstrated remarkable capabilities of scaled-up segmentation models, enabling zero-shot generalization across a variety of domains. By leveraging large-scale foundational models as pre-trained models, it is a natural progression to fine-tune SAM for specific domains to further enhance performances. However, the adoption of foundational models in the medical domain presents a challenge due to the difficulty and expense of labeling sufficient data for adaptation within hospital systems. In this paper, we introduce an efficient and practical approach for fine-tuning SAM using a limited number of exemplars, making it suitable for such scenarios. Our approach combines two established techniques from the literature: an exemplar-guided synthesis module and the widely recognized Low-Rank Adaptation (LoRA) fine-tuning strategy, serving as data-level and model-level attempts respectively. Interestingly, our empirical findings suggest that SAM can be effectively aligned within the medical domain even with few labeled data. We validate our approach through experiments on brain tumor segmentation (BraTS) and multi-organ CT segmentation (Synapse). The comprehensive results underscore the feasibility and effectiveness of such an approach, paving the way for the practical application of SAM in the medical domain.

연구 동기 및 목표

• SAM을 소수 예제로 адап하여 의료 영상 분할에 대한 라벨링 부담 감소 동기 부여.
• exemplar-guided 데이터 합성 모듈을 제안하여 합성 학습 데이터를 생성.
• LoRA 기반 미세조정으로 학습 가능 매개변수를 작게 유지.
• BraTS 2018 뇌 종양 분할 및 Synapse 다기관 CT 분할에서 접근 방식 평가.
• 의료 도메인에서 비용 효율적인 SAM 적응의 가능성 시연

제안 방법

• 기하학적 및 강도 변환과 배경 붙이기를 포함한 exemplar-guided 합성을 통해 합성 학습 데이터 생성.
• 이미지 인코더와 마스크 디코더 모두에서 LoRA로 SAM 미세조정, 6.32M 매개변수 업데이트(rank 4).
• 학습 중 모든 대상 장기/클래스에 대한 클래스 프롬프트를 포함하기 위해 포인트 기반 프롬프트 사용.
• AdamW를 사용하고 학습률 워밍업 및 감쇠를 갖춘 L = LCE + 0.8*LDice의 결합 손실 최적화

실험 결과

연구 질문

• RQ1 SAM이 매우 적은 수의 라벨 예제로 의료 분할 작업에 효과적으로 정렬될 수 있는가?
• RQ2 exemplar 기반 데이터 합성 및 LoRA 기반 미세조정이 라벨이 부족한 경우 제로샷 SAM 및 다른 baselines보다 성능을 향상시키는가?
• RQ3 BraTS 및 Synapse 데이터셋에서 주석 노력과 분할 정확도 사이의 트레이드오프는 무엇인가?
• RQ4 다양한 예제 수(0.5%, 1%, 3%) 및 데이터 합성 여부에 따라 성능은 어떻게 달라지는가?

주요 결과

데이터셋	방법	Exemplar Nums	DSC ↑	HD ↓
BraTS 2018	SAM (Zero-Shot)	-	45.29	54.74
BraTS 2018	SAMed (w/ Data Synthesis)	75 (0.5%)	82.80	28.03
BraTS 2018	SAMed (w/ Data Synthesis)	150 (1%)	82.50	43.99
BraTS 2018	SAMed (w/ Data Synthesis)	450 (3%)	85.53	17.56
BraTS 2018	Ours	75 (0.5%)	82.78	14.92
BraTS 2018	Ours	150 (1%)	83.40	10.03
BraTS 2018	Ours	450 (3%)	83.07	16.94
BraTS 2018	Full Set (Pseudo Upper Bound)	Total Nums	85.28	7.91
Synapse	SAM (Zero-Shot)	-	74.54	40.90
Synapse	SAMed	9 (one per two volumes)	43.82	96.21
Synapse	SAMed	18 (one per volume)	55.26	75.02
Synapse	SAMed	36 (two per volume)	66.96	44.69
Synapse	Ours	1 (one exemplar)	75.91	21.75
Synapse	Ours	9 (one per two volumes)	79.08	21.62
Synapse	Ours	18 (one per volume)	83.04	16.84
Synapse	Ours	36 (two per volume)	84.23	11.86
Synapse	Full Set	Total Nums	85.95	8.97

• 제안된 방법은 BraTS 2018에서 소수의 예제를 사용해 전체 세트 성능에 근접하거나 제로샷 SAM 및 SAMed의 HD95를 능가한다.
• Synapse에서 합성 데이터와 소수 예제를 사용하면 여러 장기에서 Dice 및 HD95 지표가 강하게 나타나며, 합성 없이 SAM을 능가하거나 전체 세트 성능에 근접하는 경우가 많다.
• 데이터 합성은 두 데이터셋 모두에서 예제만 사용하는 경우보다 일관되게 성능을 향상시킨다.
• 1개의 예제로도 우리 방법이 일부 구성에서 SAM(ViT-H) 제로샷보다 우수한 경우가 있으며, 예제가 늘어나면 성능이 더 개선된다.
• 학습은 modest한 하드웨어(RTX 3090 GPU)에서 6.32M 학습 가능한 매개변수(LoRA 랭크 4)로 가능하다.