[논문 리뷰] Input Augmentation with SAM: Boosting Medical Image Segmentation with Segmentation Foundation Model

Yizhe Zhang, Tao Zhou외 3명|arXiv (Cornell University)|2023. 04. 22.

Advanced Neural Network Applications인용 수 10

한 줄 요약

SAMAug는 SAM 유도 분할 및 경계 priors를 의학 영상 입력에 보강하여 다운스트림 분할 모델의 성능을 향상시키고, SAM 재학습 없이 폴립, 세포, 그리고 샘 분할 작업에서 이득을 보여준다.

ABSTRACT

The Segment Anything Model (SAM) is a recently developed large model for general-purpose segmentation for computer vision tasks. SAM was trained using 11 million images with over 1 billion masks and can produce segmentation results for a wide range of objects in natural scene images. SAM can be viewed as a general perception model for segmentation (partitioning images into semantically meaningful regions). Thus, how to utilize such a large foundation model for medical image segmentation is an emerging research target. This paper shows that although SAM does not immediately give high-quality segmentation for medical image data, its generated masks, features, and stability scores are useful for building and training better medical image segmentation models. In particular, we demonstrate how to use SAM to augment image input for commonly-used medical image segmentation models (e.g., U-Net). Experiments on three segmentation tasks show the effectiveness of our proposed SAMAug method. The code is available at \url{https://github.com/yizhezhang2000/SAMAug}.

연구 동기 및 목표

• 세그멘테이션 기초 모델로서의 SAM이 의학 영상 분할 작업에 유용한 priors를 제공할 수 있음을 동기화한다.
• SAM outputs를 원시 의학 영상과 융합하는 간단한 입력 보강 방법인 SAMAug를 제안한다.
• 세 가지 의학 영상 작업에 걸쳐 CNN 및 Transformer 분할 모델과 함께 SAMAug의 효과를 입증한다.
• 임상 환경에서 SAMAug의 배치 고려사항 및 잠재적 확장을 제시한다.

제안 방법

• 그리드 프롬프트를 사용하여 SAM로부터 분할 사전 및 경계 사전 맵을 계산한다.
• 사전 맵을 입력 이미지의 추가 채널로서 더함으로써 SAMAug를 만든다.
• 증강된 데이터셋에서 간단한 손실 함수로 표준 의학 분할 모델을 훈련한다; 선택적으로 원시 입력과 증강 입력의 손실을 결합한다.
• 추론 시 원시 입력과 SAM-증강 입력의 출력 앙상블 또는 엔트로피 기반 기준에 따라 더 확실한 예측을 선택할 수 있다.

Figure 1: Input augmentation with SAM for boosting medical image segmentation.

실험 결과

연구 질문

• RQ1 SAM 유도 사전 및 경계 맵이 입력 보강으로 사용될 때 다운스트림 의학 분할 모델의 성능을 향상시킬 수 있는가?
• RQ2 SAMAug의 개선이 폴립, 세포, 샘 분할 벤치마크 전반에 일반화되는가?
• RQ3 추론 시 어떤 배치 전략(앙상블 vs. 확실성에 따른 선택)이 SAMAug를 가장 잘 활용하는가?

주요 결과

모델	SAMAug	AJI	F-score
Swin-UNet	✗	61.66	80.57
Swin-UNet	✓	64.30	82.36
U-Net	✗	58.36	75.70
U-Net	✓	63.98	82.56
P-Net	✗	59.46	77.09
P-Net	✓	63.15	81.49
Attention UNet	✗	58.76	75.43
Attention UNet	✓	63.15	81.49
—	—	—	—
—	—	—	—

• SAMAug는 다수 아키텍처에서 폴립 데이터세트의 분할 성능을 향상시키는데, 특히 CVC-ClinicDB와 CVC-ColonDB에서 두드러진다.
• MoNuSeg에서 SAMAug는 Swin-UNet, U-Net, P-Net, Attention U-Net의 AJI 및 F-score를 증가시키며 정량적 이득을 제공한다.
• GlaS 샘 분할에서 SAMAug를 사용한 U-Net은 SAMAug 없이보다 더 높은 F-score와 Object Dice를 보인다.
• 데이터세트 전반에 걸쳐 SAMAug는 다운스트림 모델이 기초 CNN/Transformer 분할 성능을 넘어서는 의미론적으로 유의미한 사전을 제공한다.
• 추론 시 전략(앙상블 또는 엔트로피 기반 선택)은 원시 입력과 증강 입력을 모두 활용하여 더 나은 강건성을 달성할 수 있다.

Figure 2: Visual examples of a raw input image, its segmentation prior map by SAM, boundary prior map by SAM, and SAM-augmented image input (illustrated in Fig. 1 ). The image sample is from the MonuSeg dataset [ 12 ] .