[논문 리뷰] SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation

Wenxi Yue, Jing Zhang외 4명|arXiv (Cornell University)|2023. 08. 17.

Medical Imaging and Analysis인용 수 4

한 줄 요약

SurgicalSAM는 세그먼테이션 어芮브 모델(SAM)의 효율적이고 종단간 최적화 방법을 제안하여 수술 기구 세그먼테이션을 향상시킨다. 명시적 프롬프트를 가벼운 프로토타입 기반 클래스 프롬프트 인코더와 대체하고, 대비 프로토타입 학습을 도입함으로써 성능을 향상시킨다. 이 방법은 오직 465만 개의 학습 가능한 파라미터로도 EndoVis2018과 EndoVis2017에서 최고 성능을 기록하며 수술 분야에서의 강인성과 일반화 능력을 크게 향상시킨다.

ABSTRACT

The Segment Anything Model (SAM) is a powerful foundation model that has revolutionised image segmentation. To apply SAM to surgical instrument segmentation, a common approach is to locate precise points or boxes of instruments and then use them as prompts for SAM in a zero-shot manner. However, we observe two problems with this naive pipeline: (1) the domain gap between natural objects and surgical instruments leads to inferior generalisation of SAM; and (2) SAM relies on precise point or box locations for accurate segmentation, requiring either extensive manual guidance or a well-performing specialist detector for prompt preparation, which leads to a complex multi-stage pipeline. To address these problems, we introduce SurgicalSAM, a novel end-to-end efficient-tuning approach for SAM to effectively integrate surgical-specific information with SAM's pre-trained knowledge for improved generalisation. Specifically, we propose a lightweight prototype-based class prompt encoder for tuning, which directly generates prompt embeddings from class prototypes and eliminates the use of explicit prompts for improved robustness and a simpler pipeline. In addition, to address the low inter-class variance among surgical instrument categories, we propose contrastive prototype learning, further enhancing the discrimination of the class prototypes for more accurate class prompting. The results of extensive experiments on both EndoVis2018 and EndoVis2017 datasets demonstrate that SurgicalSAM achieves state-of-the-art performance while only requiring a small number of tunable parameters. The source code is available at https://github.com/wenxi-yue/SurgicalSAM.

연구 동기 및 목표

• SAM의 자연물과 수술 기구 사이의 도메인 갭으로 인해 발생하는 제로샷 일반화 성능 저하 문제를 해결하기 위해.
• 정밀한 경계상자나 점 프롬프트에 의존하는 것에서 벗어나, 진동에 민감하고 복잡한 다단계 파ip라인을 필요로 하는 문제를 해결하기 위해.
• 매우 유사한 수술 기구 카테고리 간의 분류 능력을 향상시키기 위해 개선된 클래스 프로토타입 학습을 제공하기 위해.
• 최소한의 파라미터 업데이트로 효율적인 종단간 최적화를 가능하게 하여 임상 적용을 위한 훈련 및 추론 비용을 줄이기 위해.

제안 방법

• 가벼운 프로토타입 기반 클래스 프롬프트 인코더는 명시적 점 또는 상자 프롬프트를 회피하고 클래스 프로토타입에서 직접 프롬프트 임베딩을 생성한다.
• 이 방법은 마스크 디코더와 프로토타입 인코더만을 최적화하고, ViT-H 이미지 인코더는 동결함으로써 효율성을 확보한다.
• 다른 기구 카테고리 간의 유사도를 최소화하고, 같은 카테고리 내에서의 유사도를 최대화함으로써 분류 간의 구별 능력을 향상시키기 위해 대비 프로토타입 학습을 도입한다.
• 모델은 희소(프로토타입 기반) 및 조밀한(이미지 특징) 프롬프트 임베딩을 모두 사용하여 마스크 디코더를 안내함으로써 세그먼테이션 정확도를 향상시킨다.
• 클래스 프롬프트 인코더는 이미지 특징과 클래스 프로토타입 간의 유사도 맵을 계산하여 관련 영역을 활성화함으로써 정밀한 국소화를 지원한다.
• 마스크 손실과 프로토타입 대비 손실($\mathcal{L}_{PCL}$)을 포함하는 병합 손실을 사용하여 종단간으로 훈련한다.

실험 결과

연구 질문

• RQ1 명시적 경계상자나 점 프롬프트에 의존하지 않고도 프로토타입 기반 프롬프트 인코더가 제로샷 수술 기구 세그먼테이션 성능을 향상시킬 수 있는가?
• RQ2 대비 프로토타입 학습은 매우 유사한 수술 기구 카테고리 간의 분류 능력을 어떻게 향상시키는가?
• RQ3 최소한의 파rameter로 SAM의 종단간 최적화를 수행할 경우, 수술 세그먼테이션 벤치마크에서 성능 향상은 어느 정도 이루어지는가?
• RQ4 프롬프트 노이즈 또는 프롬프트 위치 및 스케일의 변동에 대해 제안된 방법은 얼마나 강인한가?
• RQ5 희소 및 조밀한 프롬프트 임베딩의 조합은 수술 내 endoscopy에서 세그먼테이션 정확도에 어떤 영향을 미치는가?

주요 결과

• SurgicalSAM은 EndoVis2018 데이터셋에서 도전 과제 IoU 80.33%와 mc IoU 58.87%를 기록하여 새로운 최고 성능을 달성했다.
• 제거 실험에서 조밀한 프롬프트 임베딩을 제거할 경우 성능이 23.61% 도전 과제 IoU로 떨어지며, 이는 그들의 핵심적인 역할을 입증한다.
• 희소 프롬프트 임베딩을 제거할 경우 성능은 도전 과제 IoU 78.58%로 떨어지며, 정확한 국소화에서 그들의 중요성을 확인한다.
• 대비 프로토타입 학습 방법은 CLIP 기반 텍스트 프롬프트 베이스라인(도전 과제 IoU 75.94%)을 능가하는 성능을 기록했다.
• 반복 실험에서 랜덤 시드 변동에 대해 매우 강인한 성능을 보이며, 도전 과제 IoU의 표준편차는 단지 0.29에 불과했다.
• 학습 가능한 파라미터는 오직 465만 개에 불과하여 낮은 훈련 및 추론 비용을 유지하면서도 높은 성능을 달성했다.