[논문 리뷰] SAM Meets Robotic Surgery: An Empirical Study on Generalization, Robustness and Adaptation
이 연구는 로봇 외과 수술 기구 분할을 위한 Segment Anything Model(SAM)을 평가하여, 겹치는 기구, 반사, 데이터 손상과 같은 복잡한 조건에서의 zero-shot 일반화 능력에 한계가 있음을 밝혀냈다. 이러한 문제를 해결하기 위해 저자들은 LoRA 미세조정을 통해 SurgicalSAM을 제안하였으며, 프롬프트 없이도 최신 기술 수준의 성능을 달성하였고, 클래스별 마스크 예측 및 외과 시나리오에서의 개선된 내구성을 보였다.
The Segment Anything Model (SAM) serves as a fundamental model for semantic segmentation and demonstrates remarkable generalization capabilities across a wide range of downstream scenarios. In this empirical study, we examine SAM's robustness and zero-shot generalizability in the field of robotic surgery. We comprehensively explore different scenarios, including prompted and unprompted situations, bounding box and points-based prompt approaches, as well as the ability to generalize under corruptions and perturbations at five severity levels. Additionally, we compare the performance of SAM with state-of-the-art supervised models. We conduct all the experiments with two well-known robotic instrument segmentation datasets from MICCAI EndoVis 2017 and 2018 challenges. Our extensive evaluation results reveal that although SAM shows remarkable zero-shot generalization ability with bounding box prompts, it struggles to segment the whole instrument with point-based prompts and unprompted settings. Furthermore, our qualitative figures demonstrate that the model either failed to predict certain parts of the instrument mask (e.g., jaws, wrist) or predicted parts of the instrument as wrong classes in the scenario of overlapping instruments within the same bounding box or with the point-based prompt. In fact, SAM struggles to identify instruments in complex surgical scenarios characterized by the presence of blood, reflection, blur, and shade. Additionally, SAM is insufficiently robust to maintain high performance when subjected to various forms of data corruption. We also attempt to fine-tune SAM using Low-rank Adaptation (LoRA) and propose SurgicalSAM, which shows the capability in class-wise mask prediction without prompt. Therefore, we can argue that, without further domain-specific fine-tuning, SAM is not ready for downstream surgical tasks.
연구 동기 및 목표
- 실제 내 endoscopic 데이터셋을 사용하여 SAM의 zero-shot 일반화 및 내구성을 로봇 수술 환경에서 평가한다.
- 박스, 점 기반 프롬프트 등 다양한 프롬프트 설정과 프롬프트 없음 설정에서 SAM의 성능을 조사한다.
- 흐림, 혈액, 반사와 같은 외과적 장면의 복잡성과 함께 데이터 손상에 대한 SAM의 내성 여부를 평가한다.
- 프롬프트 없이 클래스별 분할이 가능한 도메인 적응형 SAM—SurgicalSAM—을 개발하고 검증한다.
- SurgicalSAM을 외과 기구 분할 작업에서 최신 기술 수준의 감독 모델들과 비교 평가한다.
제안 방법
- ViT-H 기반 SAM을 Low-rank Adaptation(LoRA)를 사용해 미세조정하여, 프롬프트 입력 없이도 외과 기구 분할에 적합하도록 조정한다.
- 평가를 위해 두 개의 MICCAI EndoVis 데이터셋(2017년 및 2018년)을 기반으로 하였으며, 수동으로 주석 처리된 경계 상자와 중심점 프롬프트를 사용한다.
- AdamW 옵timizer를 사용하고, 가중치 감쇠, 입력 해상도 512×512, 이진 및 기구별 분할을 위한 표준 교차 엔트로피 손실 함수를 사용해 SurgicalSAM을 훈련시켰다.
- 합성 손상의 다섯 단계의 심각도 수준(예: 흐림, 노이즈, 안개, JPEG 아티팩트)에서 EndoVis18 검증 세트를 사용해 내구성 평가를 수행하였다.
- 14개의 최신 기술 수준 모델(UNet, ISINet, S3Net 등)과의 정량적 비교를 위해 IoU 및 Dice 지표를 사용하였다.
- 원본 SAM이 복잡한 외과 시나리오에서 실패하는 원인을 규명하기 위해 프롬프트 유형과 손상 수준에 대한 분석 실험을 수행하였다.
실험 결과
연구 질문
- RQ1SAM은 미세조정 없이도, 특히 점 기반 또는 프롬프트 없음 설정에서 로봇 외과 기구 분할에 효과적으로 일반화될 수 있는가?
- RQ2SAM은 흐림, 노이즈, 안개, 운동 왜곡 등의 실제 외과 영상 손상 상황에서 어떻게 성능을 보이는가?
- RQ3기구가 겹치거나 반사, 그림자 등 복잡한 질감을 보일 경우 SAM의 실패 원인은 무엇인가?
- RQ4LoRA 기반의 미세조정을 통해 SAM이 외과 시나리오에서 클래스 인식, 프롬프트 없이 분할을 수행할 수 있는가?
- RQ5SurgicalSAM의 성능은 mIoU 및 내구성 측면에서 최신 기술 수준의 감독 모델들과 비교해 어떻게 되는가?
주요 결과
- SAM은 경계 상자 프롬프트를 사용할 경우 EndoVis18에서 71.38%의 mIoU를 기록하여 단순한 시나리오에서 강력한 zero-shot 일반화 능력을 보였다.
- 점 기반 프롬프트 또는 프롬프트 없음 설정에서는 기구의 일부(예: 쐐기, 손목 등)를 놓치는 등 완전한 기구 분할에 실패하였다.
- 데이터 손상 상황에서는 성능이 크게 떨어졌으며, 가우시안 노이즈의 최고 심각도 수준에서 mIoU가 3.79%로 하락했고, 흐림 손상 상황에서는 4.26%로 떨어졌다.
- SurgicalSAM은 프롬프트 없이도 EndoVis18 검증 세트에서 71.38%의 mIoU를 기록하여, 단일 작업, 이미지 전용 아키텍처임에도 불구하고 최신 기술 수준의 모델들과 동등한 성능을 달성하였다.
- SurgicalSAM은 추가 파rameter로 18.28MB만을 요구하여 LoRA 미세조정 전략의 높은 효율성을 보였다.
- 흐림 및 운동 왜곡 손상 상황에서 모델의 내구성 저하가 뚜렷하게 나타나, 향후 도메인 적응 개선이 필요함을 시사하였다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.