[논문 리뷰] Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation

Junde Wu, Ji, Wei외 5명|arXiv (Cornell University)|2023. 04. 25.

Radiomics and Machine Learning in Medical Imaging인용 수 222

한 줄 요약

이 논문은 Med-SA를 의료 영상 분할을 위한 SAM의 매개변수 효율적 적응으로 소개하며, SD-Trans를 2D-에서 3D로, HyP-Adpt를 프롬프트 조건적 적응으로 사용하여 17개 작업에서 최첨단 결과를 달성하되 약 2%의 매개변수만 업데이트합니다.

ABSTRACT

The Segment Anything Model (SAM) has recently gained popularity in the field of image segmentation due to its impressive capabilities in various segmentation tasks and its prompt-based interface. However, recent studies and individual experiments have shown that SAM underperforms in medical image segmentation, since the lack of the medical specific knowledge. This raises the question of how to enhance SAM's segmentation capability for medical images. In this paper, instead of fine-tuning the SAM model, we propose the Medical SAM Adapter (Med-SA), which incorporates domain-specific medical knowledge into the segmentation model using a light yet effective adaptation technique. In Med-SA, we propose Space-Depth Transpose (SD-Trans) to adapt 2D SAM to 3D medical images and Hyper-Prompting Adapter (HyP-Adpt) to achieve prompt-conditioned adaptation. We conduct comprehensive evaluation experiments on 17 medical image segmentation tasks across various image modalities. Med-SA outperforms several state-of-the-art (SOTA) medical image segmentation methods, while updating only 2\% of the parameters. Our code is released at https://github.com/KidsWithTokens/Medical-SAM-Adapter.

연구 동기 및 목표

• SAM의 의료 영상 성능을 의료 도메인 지식을 포함하여 전체 미세 조정 없이 개선하려는 동기 부여.
• 가벼운 적응 프레임워크(Med-SA) 개발: (i) SD-Trans를 통해 2D-3D 적응 가능, (ii) 프롬프트 조건적 적응을 위한 HyP-Adpt.
• 의료 분할 작업 17개를 다양한 모달리티에 걸쳐 Med-SA를 평가하고 SAM, MedSAM 및 SOTA 방법과 비교.
• 약 2%의 SAM 매개변수만 업데이트해도 상당한 이득이 가능하다는 것을 입증

제안 방법

• SAM 인코더와 디코더에 어댑터 모듈을 삽입해 적응 기반 매개변수 효율적 미세조정(adaption-based parameter-efficient fine-tuning)을 구현합니다.
• 공간-깊이 전치(SD-Trans)를 도입해 공간 및 깊이 차원을 분할 어텐션 가지로 처리하면서 3D 맥락 정보를 포착합니다.
• 프롬프트 조건적 어댑터를 생성하는 Hyper-Prompting Adapter(HyP-Adpt)를 제안해 시각적 프롬프트로부터 어댑터 가중치를 생성하고, 적은 추가 매개변수로 넓고 깊은 프롬프트 적응을 가능하게 합니다.
• 표준 SAM 어댑터로 2D 의료 이미지를 처리하고, SD-Trans를 사용해 3D 볼륨으로 확장하며, 디코더에서 HyP-Adpt를 통해 프롬프트 정보를 융합합니다.
• 무작위 및 반복 샘플링을 사용한 인터랙티브 프롬프트(포인트 및 경계 상자)로 학습하여 사용자 상호작용을 시뮬레이션합니다.

실험 결과

연구 질문

• RQ1 경량의 어댑터 기반 접근법으로 SAM을 완전 미세조정 없이 의료 도메인에 적응시킬 수 있는가?
• RQ2 SD-Trans가 SAM 프레임워크 내에서 효과적인 2D-3D 분할을 가능하게 하는가?
• RQ3 HyP-Adpt가 최소 매개변수 오버헤드로 프롬프트 조건적 적응을 제공하는가?
• RQ4 Med-SA는 다양한 의료 영상 모달리티 및 작업에서 SAM, MedSAM 및 특화된 SOTA 방법과 비교해 어떤 성능을 보이는가?

주요 결과

• Med-SA는 17개의 의료 분할 작업에서 최첨단 성능을 달성하며 SAM 및 완전히 미세조정된 MedSAM을 능가하고 약 2%의 SAM 매개변수만 업데이트합니다.
• BTCV 복부 다기관 분할에서 1점 프롬프트로도 이전 방법을 능가하고, BBox 0.75에서 Dice가 최대 89.8%에 도달하여 Swin-UNetr보다 2.9% 포인트 앞섭니다.
• Med-SA는 여러 모달리티(CT, MRI, 초음파, 망막사진, 피부경 검사)에서 MedSAM 및 여러 SOTA 도메인 특화 방법(nnUNet, TransUNet, UNetr, Swin-UNetr)보다 우수한 성능을 보입니다.
• SD-Trans 및 HyP-Adpt 제거/추가가 아닌 설계에서 2D-3D 확장이 BTCV 및 BrainTumor 벤치마크에서 성능을 크게 높이고, HyP-Adpt는 프롬프트 임베딩의 단순 추가/연결 대비 상당한 이점을 제공합니다.
• Med-SA는 다중 모달 데이터셋(REFUGE2, BraTs, TNMIX, ISIC)으로의 일반화가 강하고 작업 간 일관된 이득을 보여줍니다.