[논문 리뷰] Towards Segment Anything Model (SAM) for Medical Image Segmentation: A Survey

Yichi Zhang, Rushi Jiao|arXiv (Cornell University)|2023. 05. 05.

Radiomics and Machine Learning in Medical Imaging인용 수 17

한 줄 요약

본 설문조사는 SAM이 의료 영상 분할에서 어떻게 작동하는지 분석하고, 적응/미세조정 방법을 검토하며, 분할 분야의 의료 기초모델에 대한 도전과제와 향후 방향을 논의합니다.

ABSTRACT

Due to the flexibility of prompting, foundation models have become the dominant force in the domains of natural language processing and image generation. With the recent introduction of the Segment Anything Model (SAM), the prompt-driven paradigm has entered the realm of image segmentation, bringing with a range of previously unexplored capabilities. However, it remains unclear whether it can be applicable to medical image segmentation due to the significant differences between natural images and medical images.In this work, we summarize recent efforts to extend the success of SAM to medical image segmentation tasks, including both empirical benchmarking and methodological adaptations, and discuss potential future directions for SAM in medical image segmentation. Although directly applying SAM to medical image segmentation cannot obtain satisfying performance on multi-modal and multi-target medical datasets, many insights are drawn to guide future research to develop foundation models for medical image analysis. To facilitate future research, we maintain an active repository that contains up-to-date paper list and open-source project summary at https://github.com/YichiZhang98/SAM4MIS.

연구 동기 및 목표

• 다양한 의료 영상 작업에서 SAM의 제로샷 및 파샷 능력을 평가한다.
• 의료 영상 분할에서 모달리티와 작업 전반에 걸친 SAM의 실험적 결과를 조사한다.
• 의료 데이터에 맞춰 SAM을 적응시키고 미세조정하는 방법을 요약한다.
• 의료 영상에서 SAM의 도전과제, 지식 격차, 향후 방향을 논의한다.

제안 방법

• 이미지 인코더, 프롬프트 인코더, 마스크 디코더를 포함한 SAM 아키텍처를 설명한다.
• 의료 영상에 대한 평가 연구와 적응 방법으로 문헌을 분류한다.
• SAM의 선택적 부분(예: 마스크 디코더, 어댑터, LoRA)을 수정하는 미세조정 전략을 요약한다.
• 3D 의료 데이터 및 다중 모달 입력으로 SAM을 확장하는 접근법을 설명한다.
• 의료 분할을 개선하기 위한 자동 프롬프트 작성 및 프롬프트 강건성 기술을 강조한다.
• MedSAM, MSA, DeSAM, AutoSAM과 같은 도메인 특화 적응을 참조한다.

실험 결과

연구 질문

• RQ1 SAM이 모달리티와 대상에 걸쳐 의료 영상에서 신뢰할 수 있는 제로샷 분할을 제공합니까?
• RQ2 SAM을 의료 영상 분할에 효과적으로 적응시키거나 미세조정하여 도메인 특화 모델을 능가할 수 있습니까?
• RQ3 의료 맥 context에서 어떤 프롬프트 모드와 아키텍처 조정이 최상의 성능을 낳습니까?
• RQ4 SAM을 활용하면서 주석 비용을 줄이는 실용적 전략은 무엇입니까?
• RQ5 강력한 SAM 기반 의료 분할을 위해 필요한 미래 방향과 데이터 요구사항은 무엇입니까?

주요 결과

• 의료 영상에 SAM을 직접 적용하면 데이터세트와 작업에 따라 성능이 달라진다.
• SAM의 선택적 구성요소를 미세조정하거나 적응시키면 경쟁력 있는 결과를 얻을 수 있지만 여전히 전문가 모델보다 뒤처질 수 있다.
• 상자 프롬프트가 여러 의료 데이터세트에서 점 프롬프트보다 더 잘 작동하는 경향이 있지만 작업에 따라 결과가 달라진다.
• 도메인 인식 어댑터, 3D 확장 및 다중 모달 프롬프트 등 강건성을 높이는 유망한 접근법이 있다.
• SAM과 함께 자동 프롬프트 생성 및 입력 증강은 하류 분할 모델의 성능을 높이는 데 도움이 될 수 있다.