[논문 리뷰] Biomedical SAM 2: Segment Anything in Biomedical Images and Videos

Zhiling Yan, Weixiang Sun외 9명|arXiv (Cornell University)|2024. 08. 06.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 높은 정확도로 영상 및 생물의학 이미지 분할을 가능하게 하는 BioSAM-2를 제안한다. BioSAM-2는 SAM-2 기반의 파생 모델로, 메모리 메커니즘과 스트림 처리를 통합하여 8종의 의료 영상 모odalities와 22개의 구조물에 대해 zero-shot 생물의학 영상 및 영상 분할을 수행한다. 프롬프트가 필요 없이도 일반 기초 모델과 전문 모델을 모두 능가하는 최고 성능을 달성한다.

ABSTRACT

Medical image segmentation and video object segmentation are essential for diagnosing and analyzing diseases by identifying and measuring biological structures. Recent advances in natural domain have been driven by foundation models like the Segment Anything Model 2 (SAM-2). To explore the performance of SAM-2 in biomedical applications, we designed three evaluation pipelines for single-frame 2D image segmentation, multi-frame 3D image segmentation and multi-frame video segmentation with varied prompt designs, revealing SAM-2's limitations in medical contexts. Consequently, we developed BioSAM-2, an enhanced foundation model optimized for biomedical data based on SAM-2. Our experiments show that BioSAM-2 not only surpasses the performance of existing state-of-the-art foundation models but also matches or even exceeds specialist models, demonstrating its efficacy and potential in the medical domain.

연구 동기 및 목표

• 생물의학 영상 및 영상 분할 작업에서 SAM-2의 zero-shot 분할 성능을 평가하고, 의료 환경에서의 한계를 규명한다.
• 자연 이미지와 생물의학 이미지 사이의 도메인 갭을 해소하기 위해 의료 데이터에 특화된 기초 모델을 개발한다.
• 다양한 의료 모달리티에서 단일 프레임 2D, 다중 프레임 3D, 다중 프레임 영상 분할을 위한 세 가지 평가 파이프라인을 설계하고 검증한다.
• BioSAM-2가 기존 기초 모델을 능가하고, 전문 모델과 동등하거나 슈퍼어리어한 생물의학 데이터 분할 정확도를 달성함을 입증한다.
• 메모리 보강형 스트리밍 추론 아키텍처를 통해 생물의학 시퀀스에서 프롬프트 없이 자동으로 분할을 수행할 수 있도록 한다.

제안 방법

• BioSAM-2는 8종의 의료 영상 모달리티와 22개의 해부학적 구조물을 포함하는 생물의학 데이터셋을 사용하여 원본 SAM-2 아키텍처를 미세조정한다.
• 모델은 다중 프레임 분할에서 시간적 일관성을 향상시키기 위해 이전 프레임의 예측 결과를 유지하고 활용하는 메모리 메커니즘을 사용한다.
• 스트림 처리 아키텍처를 통해 순차적 추론이 가능해져, 명시적 프롬프트 없이도 새로운 프레임에 대해 정확한 예측을 수행할 수 있다.
• 세 가지 평가 파이프라인을 설계하였다: 단일 프레임 2D 영상 분할용, 다중 프레임 3D 영상 분할용, 다양한 프롬프트 유형(예: 1클릭, 3클릭, 5클릭)을 적용한 다중 프레임 영상 분할용.
• 모델 평가에는 Jaccard 지수(IoU)와 F-Score를 사용하였으며, CNN 기반, Transformer 기반, SSM 기반, 전문 모델과의 비교를 수행하였다.
• 최소한의 인간 상호작용으로 zero-shot 추론을 지원하여, 프롬프트가 없더라도 자동 분할이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 SAM-2는 미세조정 없이도 생물의학 영상 및 영상 분할 작업에 효과적으로 일반화될 수 있는가?
• RQ2 특히 의미 이해력과 도메인 이동 문제 측면에서, SAM-2는 의료 환경에서 어떤 핵심적 한계를 지니는가?
• RQ3 메모리와 스트림 처리의 통합이 생물의학 영상의 시간적 시퀀스에서 분할 성능을 어떻게 향상시키는가?
• RQ4 BioSAM-2는 기존 기초 모델과 전문 모델을 얼마나 뛰어넘는가?
• RQ5 정교화된 기초 모델을 사용하여 복잡한 생물의학 영상 시퀀스에서 프롬프트 없이 신뢰성 있게 자동 분할을 달성할 수 있는가?

주요 결과

• SAM-2는 도메인 갭이 크고, 분할된 영역을 의미론적 해부학적 클래스와 연관시키지 못함으로써 생물의학 분할 작업에서 열악한 성능을 보였다.
• EchoNet-Dynamic 데이터셋에서 SAM-2(Hiera-L)는 3클릭 프롬프트 조건에서 Jaccard-F 스코어 72.5%를 기록했지만, 도메인 특화 적응이 이루어지지 않아 성능이 여전히 열악했다.
• BioSAM-2는 모든 8종의 의료 모달리티와 22개의 관심 대상에 대해 최고 성능을 달성하였으며, 동일한 데이터로 훈련된 일반 기초 모델과 전문 모델을 모두 능가했다.
• 영상 분할에서 BioSAM-2의 성능은 상호작용 프레임 수가 증가함에 따라 크게 향상되었으며, 일부 경우에서는 3클릭 프롬프트 조건에서 지표 마스크 성능을 초월하기도 하였다.
• 8개의 상호작용 프레임과 3클릭 조건에서 BioSAM-2는 EchoNet-Dynamic에서 Jaccard-F 스코어 72.5%를 기록하여 강력한 시간적 모델링 능력과 강인성을 입증하였다.
• 특히, BioSAM-2는 프롬프트 없이도 일관되고 높은 정확도의 분할을 달성하였으며, 자동 설정에서 경쟁적인 SOTA 기초 모델을 크게 앞서는 성능을 보였다.