[논문 리뷰] SAM-Med2D

Junlong Cheng, Jin Ye외 13명|arXiv (Cornell University)|2023. 08. 30.

Radiomics and Machine Learning in Medical Imaging인용 수 17

한 줄 요약

SAM-Med2D는 Segment Anything Model을 의료 2D 이미지에 맞게 대규모 도메인 특화 미세조정을 통해 적응시키며, 다중 프롬프트 인터랙티브 세그멘테이션을 가능하게 하고 모달리티와 기관 전반에 걸쳐 강한 일반화를 제공합니다.

ABSTRACT

The Segment Anything Model (SAM) represents a state-of-the-art research advancement in natural image segmentation, achieving impressive results with input prompts such as points and bounding boxes. However, our evaluation and recent research indicate that directly applying the pretrained SAM to medical image segmentation does not yield satisfactory performance. This limitation primarily arises from significant domain gap between natural images and medical images. To bridge this gap, we introduce SAM-Med2D, the most comprehensive studies on applying SAM to medical 2D images. Specifically, we first collect and curate approximately 4.6M images and 19.7M masks from public and private datasets, constructing a large-scale medical image segmentation dataset encompassing various modalities and objects. Then, we comprehensively fine-tune SAM on this dataset and turn it into SAM-Med2D. Unlike previous methods that only adopt bounding box or point prompts as interactive segmentation approach, we adapt SAM to medical image segmentation through more comprehensive prompts involving bounding boxes, points, and masks. We additionally fine-tune the encoder and decoder of the original SAM to obtain a well-performed SAM-Med2D, leading to the most comprehensive fine-tuning strategies to date. Finally, we conducted a comprehensive evaluation and analysis to investigate the performance of SAM-Med2D in medical image segmentation across various modalities, anatomical structures, and organs. Concurrently, we validated the generalization capability of SAM-Med2D on 9 datasets from MICCAI 2023 challenge. Overall, our approach demonstrated significantly superior performance and generalization capability compared to SAM.

연구 동기 및 목표

• 자연 이미지의 SAM과 의료 이미지 세그멘테이션 사이의 격차를 의료 도메인 지식 통합으로 해소합니다.
• 의료 작업을 위해 SAM을 훈련하고 미세조정하기 위한 대규모 다양하고 의료 이미지 세그멘테이션 데이터셋을 생성합니다.
• 의료 영상에 대한 포인트, 바운딩 박스, 마스크 프롬프트를 포함한 포괄적 프롬프트 지원 및 어댑터 기반 미세조정을 개발합니다.
• 여러 모달리티와 해부학적 구조에 대해 SAM-Med2D를 평가하고 MICCAI 2023 데이터셋에서 일반화를 검증합니다.]
• method:[

제안 방법

• 공개/비공개 소스에서 약 4.6백만 개의 의료 이미지와 1천만 개의 마스크를 모으고 전처리하여 10개 모달리티와 31개 기관을 포괄합니다.
• 이미지 인코더를 고정하고 각 트랜스포머 블록에 학습 가능한 어댑터를 삽입하여 의료 도메인 지식을 학습합니다.
• 포인트, 바운딩 박스, 마스크 프롬프트를 위한 프롬프트 인코더를 미세조정하고 시뮬레이션된 인터랙티브 세그멘테이션으로 마스크 디코더를 훈련합니다.
• Dense 및 sparse 프롬프트를 사용하고 프롬프트당 다수의 마스크를 예측하며 역전파 시 IoU 기반 선택으로 손실을 계산합니다.
• 배치당 아홉 단계의 인터랙티브 세그멘테이션을 시뮬레이션하고 초기 단계에서 어댑터, 프롬프트 인코더, 마스크 디코더 매개변수를 업데이트한 후 주로 마스크 디코더를 업데이트합니다.]
• research_questions:[

실험 결과

연구 질문

• RQ1 SAM-Med2D가 일반 SAM보다 의료 이미지에서 더 우수한 세그멘테이션 성능을 달성할 수 있습니까?
• RQ2 다양한 프롬프트(포인트, 바운딩 박스, 마스크)가 의료 영상에서 세그멘테이션 품질에 어떤 영향을 미칩니까?
• RQ3 대규모 의료 도메인 미세조정이 모달리티 간 일반화와 보지 않은 MICCAI 2023 데이터세트에 대한 일반화에 도움이 됩니까?
• RQ4 어댑터 기반 미세조정이 의료 이미지에 대한 SAM 인코더의 도메인 적응에 어떤 영향을 줍니까?

주요 결과

• SAM-Med2D는 평가된 작업에서 SAM 및 FT-SAM보다 더 높은 Dice 점수를 달성했고, 256x256 해상도와 다중 프롬프트 사용에서 뚜렷한 이점을 보였습니다.
• 인터랙티브 세그멘테이션에서 여러 포인트를 사용할 때 포인트 기반 프롬프트가 바운딩 박스와 경쟁하거나 우위를 점합니다.
• SAM-Med2D는 9개의 MICCAI 2023 데이터세트에서 강력한 일반화를 보여 주며 보지 않은 의료 이미지에서도 견고한 성능을 나타냅니다.
• 포괄적 프롬프트 지원(포인트, 상자, 마스크)과 어댑터가 이전 방법보다 더 넓고 효과적인 의료 이미지 세그멘테이션을 가능하게 합니다.
• 실험은 의료 대규모 데이터와 도메인 적응형 미세조정이 SAM의 의료 세그멘테이션 성능을 향상시킨다는 이점을 보여줍니다.]
• table_headers:[