[논문 리뷰] Unleashing the Potential of SAM2 for Biomedical Images and Videos: A Survey

Yichi Zhang, Zhenrong Shen|arXiv (Cornell University)|2024. 08. 23.

Image Processing Techniques and Applications인용 수 4

한 줄 요약

이 종합 검토는 프롬프트 기반 영상 및 영상 분할을 위한 기초 모델인 SAM2가 생물의학 영상 및 영상에 어떻게 적응되고 적용되는지 탐구한다. 다양한 생물의학 영상 작업에서 SAM2의 제로샷 및 미세조정 성능을 평가하며, 애너테이션 부담을 줄일 잠재력을 강조하고, 신뢰할 수 있는 임상 적용을 위해 자연 영상과 의료 영상 분포 간 격차를 메우기 위해 미세조정을 통한 도메인 적응이 필수적임을 밝힌다.

ABSTRACT

The unprecedented developments in segmentation foundational models have become a dominant force in the field of computer vision, introducing a multitude of previously unexplored capabilities in a wide range of natural images and videos. Specifically, the Segment Anything Model (SAM) signifies a noteworthy expansion of the prompt-driven paradigm into the domain of image segmentation. The recent introduction of SAM2 effectively extends the original SAM to a streaming fashion and demonstrates strong performance in video segmentation. However, due to the substantial distinctions between natural and medical images, the effectiveness of these models on biomedical images and videos is still under exploration. This paper presents an overview of recent efforts in applying and adapting SAM2 to biomedical images and videos. The findings indicate that while SAM2 shows promise in reducing annotation burdens and enabling zero-shot segmentation, its performance varies across different datasets and tasks. Addressing the domain gap between natural and medical images through adaptation and fine-tuning is essential to fully unleash SAM2's potential in clinical applications. To support ongoing research endeavors, we maintain an active repository that contains up-to-date SAM & SAM2-related papers and projects at https://github.com/YichiZhang98/SAM4MIS.

연구 동기 및 목표

• 다양한 생물의학 영상 및 영상 데이터셋에서 SAM2의 제로샷 및 희소샷 분할 성능을 평가하기.
• SAM2 사전학습에 사용된 자연 영상과 의료 영상(저대비, 약한 경계) 간 도메인 갭으로 인해 발생하는 과제를 규명하기.
• 3D 의료 영상은 2D 슬라이스의 영상 시퀀스로 간주함으로써 SAM2의 영상 분할 기능을 활용하여 분할 성능 평가하기.
• 의료 용도에 적합한 최신 적응 전략(예: 미세조정, 프롬프트 최적화, 전문화된 아키텍처)을 조사하기.
• 임상 적용에서 SAM2의 잠재력과 한계를 종합적으로 개괄하기, 특히 외과 영상 및 병리 영상 분야에서의 응용을 포함하여.

제안 방법

• 3D 의료 영상을 2D 슬라이스의 순차적 시퀀스로 간주하여 SAM2의 영상 분할 기능을 활용하기.
• 클릭, 경계 상자 또는 분할 힌트와 같은 프롬프트 기반 추론을 적용하여 SAM2의 마스크 생성을 유도하기.
• 영상 프레임 간 시간적 일관성을 유지하기 위해 SAM2의 스트리밍 메모리 메커니즘을 활용하기.
• 자연 영상과 의료 영상 간 도메인 격차를 줄이기 위해 의료 데이터셋에서 도메인 특화된 미세조정 구현하기.
• 특화된 모듈(예: SAM2-PATH에서의 KAN 기반 분류기 또는 SurgSAM-2에서의 효율적 프레임 프루닝)을 통합하여 성능 향상시키기.
• SAM 및 SAM2 관련 생물의학 연구를 추적하고 정리하기 위한 공개 레포지토리(https://github.com/YichiZhang98/SAM4MIS) 유지하기.

실험 결과

연구 질문

• RQ1 SAM2는 생물의학 영상 및 영상에서 어떤 수준의 제로샷 분할 성능를 보이며, 감독 학습 모델과 비교해 어떻게 성능을 내는가?
• RQ2 SAM2를 사용해 2D 슬라이스의 영상 시퀀스로 간주할 때 3D 의료 영상은 얼마나 효과적으로 분할될 수 있는가?
• RQ3 저대비, 약한 경계 등의 영상 특성 차이로 인해 SAM2를 직접 의료 영상에 적용할 때 발생하는 주요 과제는 무엇인가?
• RQ4 미세조정 및 아키텍처 적응 전략이 의료 분할 작업에서 SAM2의 성능 향상에 얼마나 효과적인가?
• RQ5 외과 영상, 대장내시경, 디지털 병리 영상 등의 임상 분야에서 SAM2의 가장 유망한 응용 중심 적응 전략은 무엇인가?

주요 결과

• SAM2는 생물의학 영상 분할 작업에서 강력한 제로샷 성능를 보이며, 일부 사례에서는 최첨단 모델에 근접한 성능를 기록한다.
• 2D 및 3D 의료 영상에서의 성능는 데이터셋 간에 상당한 차이를 보이며, 특히 저대비 또는 경계가 약한 영역에서는 감독 학습 모델과 비교해 뚜렷한 격차를 보인다.
• 미세조정 및 도메인 특화 적응(예: BioSAM2, MedSAM-2, SAM2-PATH)은 분할 정확도를 크게 향상시키고 인간 프롬프트 의존도를 감소시킨다.
• MedSAM-2의 'One-prompt Segmentation' 기능은 동일한 해부학적 구조를 여러 영상에서 단일 프롬프트로 일관되게 분할할 수 있도록 한다.
• SAM2를 활용한 외과 영상 분할은 가능하지만, 출혈, 가림, 운동 블러 등의 실제 영상 잡음으로 인해 도전 과제가 존재한다.
• SAM2는 정적 영상 분할보다 영상 작업에서 성능이 뚜렷이 뛰어나며, 이는 자연 영상과 의료 영상 영상 데이터 간의 도메인 격차가 더 작기 때문으로 분석된다.