[논문 리뷰] ProMISe: Promptable Medical Image Segmentation using SAM

Jinfeng Wang, Sifan Song외 5명|arXiv (Cornell University)|2024. 03. 07.

Brain Tumor Detection and ClassificationNeuroscience인용 수 3

한 줄 요약

이 논문은 세그먼테이션 어芮브 모델(SAM)을 사용한 프롬프터블 의료 영상 분할을 위한 피인상 조정이 없는 프레임워크인 ProMISe를 제안한다. 적응형 유클리드 프롬프트 생성을 위한 오토-프롬프팅 모듈(APM)과 SAM의 마스크 디코더를 비침습적으로 적응시키기 위한 점진적 패턴 시프팅(IPS)을 도입함으로써, ProMISe는 모든 SAM 파라미터를 동결한 채로 여러 의료 영상 기준에서 최고 성능을 달성하며, 훈련 비용을 크게 줄이고 프롬프팅의 해석 가능성도 유지한다.

ABSTRACT

With the proposal of the Segment Anything Model (SAM), fine-tuning SAM for medical image segmentation (MIS) has become popular. However, due to the large size of the SAM model and the significant domain gap between natural and medical images, fine-tuning-based strategies are costly with potential risk of instability, feature damage and catastrophic forgetting. Furthermore, some methods of transferring SAM to a domain-specific MIS through fine-tuning strategies disable the model's prompting capability, severely limiting its utilization scenarios. In this paper, we propose an Auto-Prompting Module (APM), which provides SAM-based foundation model with Euclidean adaptive prompts in the target domain. Our experiments demonstrate that such adaptive prompts significantly improve SAM's non-fine-tuned performance in MIS. In addition, we propose a novel non-invasive method called Incremental Pattern Shifting (IPS) to adapt SAM to specific medical domains. Experimental results show that the IPS enables SAM to achieve state-of-the-art or competitive performance in MIS without the need for fine-tuning. By coupling these two methods, we propose ProMISe, an end-to-end non-fine-tuned framework for Promptable Medical Image Segmentation. Our experiments demonstrate that both using our methods individually or in combination achieves satisfactory performance in low-cost pattern shifting, with all of SAM's parameters frozen.

연구 동기 및 목표

• SAM과 같은 대규모 기초 모델을 의료 영상 분할(MIS)에 적용할 때 발생하는 높은 훈련 비용과 불안정성을 해결하기 위해.
• 의료 분야로의 적응을 위해 SAM의 상호작용형 프롬프팅 기능을 유지하면서도 도메인 이탈을 최소화하기 위해.
• catastrophic forgetting과 특징 손상 방지를 방지하기 위한 경량이며 비침습적인 도메인 적응 방법을 개발하기 위해.
• 피인상 조정 없이 종단 간 패턴 시프팅을 가능하게 하여 임상 적용에서의 해석 가능성과 효율성을 유지하기 위해.

제안 방법

• 오토-프롬프팅 모듈(APM)은 SAM의 이미지 인코더에서 추출한 특징을 바탕으로 타겟 도메인에서 적응형 유클리드 프롬프트를 생성하여, 피인상 조정 없이도 개선된 제로샷 성능을 달성한다.
• 점진적 패턴 시프팅(IPS)은 SAM의 마스크 디코더에 학습 가능한 토큰을 도입하여 사전 지식 패턴을 이동시킴으로써 의료 영상 특성에 맞게 적응시킨다.
• 패턴 임베딩(PaE) 모듈은 원천(자연) 영상과 타겟(의료) 영상 간의 도메인 갭을 식별하여 효과적인 패턴 시프팅을 유도한다.
• IPS는 마스크 디코더의 출력 토큰에 학습 가능한 토큰을 삽입하여, SAM의 원래 파라미터를 수정하지 않고도 비침습적인 적응을 가능하게 한다.
• ProMISe 프레임워크는 APM과 IPS를 조합하여 종단 간 비피인상 조정 패턴 시프팅을 구현하며, 완전한 프롬프팅 기능을 유지한다.
• 모든 실험은 SAM의 모든 파라미터를 동결한 상태에서 수행되었으며, IPS 모듈에서 뿐다 130만 개의 추가 학습 가능한 파라미터만 사용되었다.

실험 결과

연구 질문

• RQ1 적응형 프롬프트 생성은 피인상 조정 없이도 SAM의 의료 영상 분할에서의 제로샷 성능을 향상시킬 수 있는가?
• RQ2 마스크 디코더에서의 비침습적 패턴 시프팅은 SAM의 프롬프팅 기능을 유지하면서도 의료 영상 분할에서 최고 성능을 달성할 수 있는가?
• RQ3 주요 모델의 피인상 조정 없이도 소수의 학습 가능한 파라미터만으로 효과적인 도메인 적응을 달성할 수 있는가?
• RQ4 적응형 프롬프팅과 점진적 패턴 시프팅의 조합은 피인상 조정 기반 방법에 비해 성능과 안정성 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 다양한 의료 영상 모odalities와 데이터셋에 일반화 가능한가?

주요 결과

• APM과 IPS를 모두 적용한 ProMISe는 Kvasir, EndoScene, ColonDB, ETIS, ISIC2018 기준에서 뿐다 130만 개의 학습 가능한 파라미터로 최고 성능을 달성한다.
• SSFormer을 베이스라인으로 사용했을 때, IPS는 ColonDB에서 최대 10% 향상된 mDice를 기록했고, ETIS에서는 7% 향상되었다. 이는 피인상 조정 없이도 성능 향상을 이룬 것이다.
• 절단 실험 결과, PaE 모듈이 최적의 IPS 성능을 내기 위해 필수적임을 확인하였으며, 전체 구성(PaE + IPS 토큰)은 Kvasir에서 0.911의 mDice를 달성했다.
• PaE 없이 IPS 토큰만 사용하더라도 성능이 뚜렷이 향상되었으며(Kvasir에서 0.862 mDice), 이는 방법의 강건성과 유연성을 보여준다.
• 유클리드 프롬프트를 통해 완전한 해석 가능성을 유지하고 있으며, 모든 SAM 파라미터가 동결되어 있어 catastrophic forgetting을 방지한다.
• 점진적 패턴 시프팅은 점점 더 많은 프롬프트 포인트를 사용할수록 성능 향상이 두드러지게 나타나, 스케치나 메모 등 굵은 프롬프트로의 확장 가능성도 시사한다.