[논문 리뷰] Generalist Vision Foundation Models for Medical Imaging: A Case Study of Segment Anything Model on Zero-Shot Medical Segmentation

Peilun Shi, Jianing Qiu외 4명|arXiv (Cornell University)|2023. 04. 25.

Retinal Imaging and Analysis인용 수 4

한 줄 요약

이 연구는 OCT, MRI, CT 및 피부내시경 영상 등 다양한 의료 영상 벤치마크 9개에서 Segment Anything Model(SAM)의 제로샷 분할 성능을 평가한다. 일반 도메인에서 뛰어난 성능를 보이지만, 특히 혈관과 같은 구조적 대상에 대해 제로샷 능력이 제한되어 있으며, 소량의 데이터로 미세조정을 수행할 경우 성능 향상이 크게 이루어짐을 확인하여, 적응 후 SAM의 의료 분할 잠재력이 높음을 시사한다.

ABSTRACT

In this paper, we examine the recent Segment Anything Model (SAM) on medical images, and report both quantitative and qualitative zero-shot segmentation results on nine medical image segmentation benchmarks, covering various imaging modalities, such as optical coherence tomography (OCT), magnetic resonance imaging (MRI), and computed tomography (CT), as well as different applications including dermatology, ophthalmology, and radiology. Those benchmarks are representative and commonly used in model development. Our experimental results indicate that while SAM presents remarkable segmentation performance on images from the general domain, its zero-shot segmentation ability remains restricted for out-of-distribution images, e.g., medical images. In addition, SAM exhibits inconsistent zero-shot segmentation performance across different unseen medical domains. For certain structured targets, e.g., blood vessels, the zero-shot segmentation of SAM completely failed. In contrast, a simple fine-tuning of it with a small amount of data could lead to remarkable improvement of the segmentation quality, showing the great potential and feasibility of using fine-tuned SAM to achieve accurate medical image segmentation for a precision diagnostics. Our study indicates the versatility of generalist vision foundation models on medical imaging, and their great potential to achieve desired performance through fine-turning and eventually address the challenges associated with accessing large and diverse medical datasets in support of clinical diagnostics.

연구 동기 및 목표

• 일반적인 시각 기반 모델인 Segment Anything Model(SAM)의 다양한 의료 영상 작업에서의 제로샷 분할 성능 평가.
• 미세조정 없이 의료 영상에 대해 분포 외로 일반화하는 데 있어 SAM의 한계 규명.
• 소량의 의료 데이터로 SAM을 미세조정함으로써 분할 정확도가 어떻게 향상되는지 평가.
• 다양한 의료 영상 모odalities와 적용 분야에서 SAM의 표준화되고 종합적인 벤치마크 제공.
• 의료 진단을 위한 일반화된 시각 기반 모델의 향후 개발을 안내하기 위해 핵심 과제와 기회 규명.

제안 방법

• 모든 지정 마스크의 중심점을 프롬프트 입력으로 사용하여 표준화된 프롬프트 프로토콜을 통해 SAM 평가.
• 각 프롬프트에 대해 SAM의 세 개의 후보 출력 중 최고 점수를 받은 분할 결과를 평가 대상으로 선정.
• 일致된 성능 평가를 위해 단일 NVIDIA RTX 3080 GPU에서 공식 ViT-H 체크포인트를 사용.
• 모든 의료 벤치마크에서 정량적 비교를 위한 주요 지표로 Dice 계수 사용.
• 분할 정확도 향상을 평가하기 위해 망막 혈관 분할 데이터로 SAM의 초기 미세조정 수행.
• 피부내시경, 망막도시, 방사선학, 병리학을 포함한 9개 데이터셋에서 영상 모달리티로 OCT, MRI, CT, 내 endoscopy를 평가.

실험 결과

연구 질문

• RQ1 SAM은 어떤 식으로 다양한 의료 영상 모달리티에서 미세조정 없이 제로샷 분할 성능를 보여주는가?
• RQ2 특히 가지치기 혈관과 같은 복잡한 해부학적 구조에서 SAM의 실패 원인은 무엇인가?
• RQ3 소량의 의료 데이터로 SAM을 미세조정함으로써 제로샷 기준 대비 성능 향상 수준은 어느 정도인가?
• RQ4 SAM의 제로샷 성능는 최신 도메인 전용 의료 분할 모델과 비교해 어떻게 나타나는가?
• RQ5 프롬프트 엔지니어링과 입력 표현 방식은 SAM과 같은 기초 모델의 의료 영상 일반화에 어떤 역할을 하는가?

주요 결과

• SAM은 제로샷 모드에서 내시경 및 피부내시경 영상에서 다른 모달리티보다 더 뛰어난 성능를 보였으며, 이는 SAM의 사전학습 데이터에 포함된 자연스러운 RGB 영상과 유사하기 때문으로 보인다.
• SAM은 제로샷 모드에서 혈관과 같은 연속적인 가지치기 형태의 구조를 의료 영상뿐 아니라 비의료 영상(예: 나뭇가지)에서도 완전히 실패하였다.
• SAM의 제로샷 Dice 점수는 최신 의료 분할 모델 대비 0.1~0.4 낮았으며, 가장 악성인 경우 최대 0.65까지 낮았다.
• 소량의 망막 혈관 데이터로 SAM을 미세조정함으로써 분할 품질이 극적으로 향상되었으며, 이는 적응 가능성의 강력한 잠재력을 시사한다.
• 제로샷 SAM과 SOTA 모델 간의 성능 격차는 일반 도메인 기초 모델에서 의료 영상 분야로 직접 전이하는 데서의 한계를 드러낸다.
• 프롬프트 일관성과 입력 표현 방식이 핵심 요소임을 규명하였으며, 중심점 기반 프롬프트가 영역 내부에 위치하지 않을 수 있어 평가 신뢰도에 영향을 줄 수 있다.