[논문 리뷰] Segment Anything in Medical Images

Jun Ma, Yuting He외 4명|arXiv (Cornell University)|2023. 04. 24.

Radiomics and Machine Learning in Medical Imaging참고 문헌 41인용 수 87

한 줄 요약

MedSAM은 보편적 의료 영상 분할을 위한 최초의 foundation 모델이며, 100만 개가 넘는 이미지-마스크 쌍으로 학습되었고, 이전의 분할 foundation 모델들을 능가하고 많은 작업에서 전문 모델과 어깨를 나란히 하거나 경쟁하며, 정확한 종양 부담 정량화를 가능하게 한다.

ABSTRACT

Medical image segmentation is a critical component in clinical practice, facilitating accurate diagnosis, treatment planning, and disease monitoring. However, existing methods, often tailored to specific modalities or disease types, lack generalizability across the diverse spectrum of medical image segmentation tasks. Here we present MedSAM, a foundation model designed for bridging this gap by enabling universal medical image segmentation. The model is developed on a large-scale medical image dataset with 1,570,263 image-mask pairs, covering 10 imaging modalities and over 30 cancer types. We conduct a comprehensive evaluation on 86 internal validation tasks and 60 external validation tasks, demonstrating better accuracy and robustness than modality-wise specialist models. By delivering accurate and efficient segmentation across a wide spectrum of tasks, MedSAM holds significant potential to expedite the evolution of diagnostic tools and the personalization of treatment plans.

연구 동기 및 목표

• 다양한 영상 modality와 작업 전반에 걸친 광범위한 일반화 가능성을 갖춘 보편적 의료 영상 분할 모델의 필요성 제시.
• Segment Anything Model (SAM)을 대규모 의료 데이터셋에 적용하여 MedSAM을 개발.
• 내부 및 외부 작업에서 최첨단 분할 기초 모델 및 전문 모델과 MedSAM을 비교 평가.
• MedSAM이 종양 부담을 정확하게 정량화하는 능력을 보여주고 전문가 성능과 비교한다.

제안 방법

• ViT 기반 이미지 인코더를 사용해 이미지 인코더, 프롬프트 인코더, 마스크 디코더를 갖춘 SAM 아키텍처를 적응시킨다.
• 1,090,486개의 의료 이미지-마스크 쌍으로 15개 모달리티와 30개 이상 암 유형에 걸쳐 학습한다.
• 경계 상자 프롬프트를 사용하고, 학습을 위해 실제 마스크의 프롬프트를 교란하여 시뮬레이션한다.
• masked auto-encoder로 사전학습한 후 SAM 데이터셋에서 완전 감독 학습; 프롬프트 인코더를 고정한 채 이미지 인코더와 마스크 디코더를 미세조정한다.
• AdamW로 Dice와 cross-entropy 손실을 결합한 최종 손실로 최적화한다; 100 에포크 동안 20대의 A100 GPU에서 학습한다.

실험 결과

연구 질문

• RQ1 하나의 기초 모델을 학습시켜 다양한 의료 영상 모달리티와 분할 작업에 일반화할 수 있을까?
• RQ2 내부 검증 작업에서 MedSAM은 SAM 및 전문 U-Net 모델과 어떻게 비교되는가?
• RQ3 MedSAM은 외부 검증 데이터셋과 보지 못한 작업/모달리티에 얼마나 잘 일반화하는가?
• RQ4 MedSAM이 암에 걸친 종양 부담 정량화를 가능하게 하는가?
• RQ5 특정 작업에서 인간 전문가와 비교했을 때 MedSAM의 분할 성능은 어떠한가?

주요 결과

• MedSAM은 최첨단 분할 기초 모델을 능가하고 다수의 작업에서 전문 모델과 경쟁하거나 우수한 성능을 발휘한다.
• 내부 검증에서 MedSAM은 주요 작업들에서 고정된 중간 Dice 점수 달성(예: intracranial hemorrhage CT, glioma MR T1, pneumothorax CXR, polyp endoscopy) 및 SAM과 많은 U-Net 베이스라인을 능가한다.
• 외부 검증은 MedSAM이 보지 못한 데이터셋과 모달리티에서도 우수한 성능을 유지하며 SAM 및 전문 모델에 비해 현저한 개선을 보인다.
• MedSAM은 선택된 암들에 대해 MedSAM 도출 볼륨과 전문가 볼륨 간 Pearson 상관계수 r=0.99로 종양 부담 정량화를 정확하게 가능하게 한다.
• 전립선 MR 분할에서 MedSAM은 여섯 명의 인간 전문가와 일치하거나 이를 상회하여 임상 경쟁력을 보여준다.