[논문 리뷰] Segment Anything Model for Medical Image Segmentation: Current Applications and Future Directions

Yichi Zhang, Zhenrong Shen외 1명|arXiv (Cornell University)|2024. 01. 07.

Artificial Intelligence in Healthcare and Education인용 수 8

한 줄 요약

제로샷 설정에서 Segment Anything Model (SAM)이 의학 영상 분할에 어떻게 작동하는지와 연구자들이 미세조정, 자동 프롬프트, 3D 확장을 통해 SAM을 의학 데이터에 맞게 어떻게 적응시키는지에 대한 조사.

ABSTRACT

Due to the inherent flexibility of prompting, foundation models have emerged as the predominant force in the fields of natural language processing and computer vision. The recent introduction of the Segment Anything Model (SAM) signifies a noteworthy expansion of the prompt-driven paradigm into the domain of image segmentation, thereby introducing a plethora of previously unexplored capabilities. However, the viability of its application to medical image segmentation remains uncertain, given the substantial distinctions between natural and medical images. In this work, we provide a comprehensive overview of recent endeavors aimed at extending the efficacy of SAM to medical image segmentation tasks, encompassing both empirical benchmarking and methodological adaptations. Additionally, we explore potential avenues for future research directions in SAM's role within medical image segmentation. While direct application of SAM to medical image segmentation does not yield satisfactory performance on multi-modal and multi-target medical datasets so far, numerous insights gleaned from these efforts serve as valuable guidance for shaping the trajectory of foundational models in the realm of medical image analysis. To support ongoing research endeavors, we maintain an active repository that contains an up-to-date paper list and a succinct summary of open-source projects at https://github.com/YichiZhang98/SAM4MIS.

연구 동기 및 목표

• 의료 도메인에서 영상 분할을 위한 파운데이션 모델과 SAM 아키텍처를 소개한다.
• 다양한 의료 영상 modality와 작업에서 SAM의 제로샷 성능을 평가한다.
• 미세조정, 프롬프트 엔지니어링, 자동 프롬프트화, 프레임워크 수정 등 적응 전략을 요약한다.
• 의료 영상 분석에서 SAM의 도전과제, 한계 및 향후 방향을 강조한다.

제안 방법

• SAM 아키텍처를 설명한다: 이미지 인코더(ViT), 프롬프트 인코더, 경량 마스크 디코더.
• CT, MRI, 병리학, 대장내시경, 내시경 및 다중 모달리티 데이터셋에서 제로샷 평가 연구를 요약한다.
• 적응 접근법을 (i) 의료 영상에서의 미세조정, (ii) 자동 프롬 prompting 및 프롬프트 학습, (iii) 프레임워크 수정 및 다른 모델과의 통합, (iv)体적 데이터에 대한 3D 확장으로 분류한다.
• AutoSAM, DeSAM, UR-SAM, SurgicalSAM 등 자동 프롬핑 방법과 불확실성 추정이 신뢰성을 높이는 방식 요약한다.
• 볼륨성 의료 데이터 처리를 위한 2D-에서 3D 적응(예: Med-SA, 3DSAM-adapter, SAM-Med2D, SAM-Med3D) 방법을 논의한다.

실험 결과

연구 질문

• RQ1 SAM이 다양한 모달리티와 작업에서 의학 영상 분할을 제로샷으로 얼마나 잘 수행하는가?
• RQ2 미세조정, PEFT, 자동 프롬프트화, 3D 확장 등 어떤 적응 전략이 SAM의 의료 데이터 분할 성능을 향상시키는가?
• RQ3 의료 영상에 직접 적용할 때 SAM의 한계는 무엇이며 차원성, 모달리티, 크기, 대조도 등의 요인이 성능에 어떤 영향을 미치는가?
• RQ4 자동 프롬핑과 불확실성 추정이 SAM과 함께 신뢰할 수 있고 주석 효율적인 의료 분할을 제공할 수 있는가?
• RQ5 임상 방사선 치료, 수술, 다중 모드 분석에 SAM을 통합하기 위한 향후 방향과 해결해야 할 문제는 무엇인가?

주요 결과

• SAM의 제로샷 의료 분할은 일반적으로 프롬프트나 미세조정 없이 여러 작업에서 성능이 떨어진다.
• 미세조정(전체 및 매개변수 효율적 조정)과 전문 의료 데이터셋(예: MedSAM)이 성능을 크게 향상시키며, 때로는 선택된 작업에서 SOTA 모델을 능가하거나 일치하기도 한다.
• 자동 프롭핑 및 학습 가능한 프롬프트(예: AutoSAM, DeSAM, UR-SAM)는 강건성을 향상시키고 더 신뢰할 수 있는 완전 자동화 또는 반자동화 분할을 가능하게 한다.
• 3D 적응(예: SAM-Med3D, 3DSAM-adapter)은 부피 데이터에 대한 2D SAM의 한계를 해결하고 3D 의학 영상에서 성능을 향상시킨다.
• 불확실성 가이드형 프롬프트 생성 및 교정(UR-SAM, EviPrompt)은 프롬프트 간 및 도메인 간 신뢰성을 개선한다.
• 태스크-특정 모델과의 하이브리드 프레임워크(nnSAM, SAMUS, SAMPath)가 임상 워크플로우에서 분할 정확도와 실용성을 향상시킨다.