[논문 리뷰] SAM Meets Robotic Surgery: An Empirical Study in Robustness Perspective

An Wang, Mobarakol Islam외 3명|arXiv (Cornell University)|2023. 04. 28.

Artificial Intelligence in Healthcare and Education인용 수 12

한 줄 요약

SAM은 로봇 수술 기구 분할에서 바운딩 박스 프롬프트로 강한 제로샷 일반화를 보이지만 포인트 프롬프트 및 비프롬프트 설정에서 성능이 저하되고, 다양한 오염에 대한 강건성이 부족하다.

ABSTRACT

Segment Anything Model (SAM) is a foundation model for semantic segmentation and shows excellent generalization capability with the prompts. In this empirical study, we investigate the robustness and zero-shot generalizability of the SAM in the domain of robotic surgery in various settings of (i) prompted vs. unprompted; (ii) bounding box vs. points-based prompt; (iii) generalization under corruptions and perturbations with five severity levels; and (iv) state-of-the-art supervised model vs. SAM. We conduct all the observations with two well-known robotic instrument segmentation datasets of MICCAI EndoVis 2017 and 2018 challenges. Our extensive evaluation results reveal that although SAM shows remarkable zero-shot generalization ability with bounding box prompts, it struggles to segment the whole instrument with point-based prompts and unprompted settings. Furthermore, our qualitative figures demonstrate that the model either failed to predict the parts of the instrument mask (e.g., jaws, wrist) or predicted parts of the instrument as different classes in the scenario of overlapping instruments within the same bounding box or with the point-based prompt. In fact, it is unable to identify instruments in some complex surgical scenarios of blood, reflection, blur, and shade. Additionally, SAM is insufficiently robust to maintain high performance when subjected to various forms of data corruption. Therefore, we can argue that SAM is not ready for downstream surgical tasks without further domain-specific fine-tuning.

연구 동기 및 목표

• 바운딩 박스 및 포인트 프롬프트에서 SAM의 로봇 수술 제로샷 세분화 성능을 평가한다.
• EndoVis 2017 및 2018 데이터셋 전반에 걸친 데이터 손상 및 섭동에 대한 SAM의 견고성을 평가한다.
• 프롬프트가 없는 수술 씬에서 SAM의 자동 마스크 생성 기능을 조사한다.
• 이진 및 기구별 작업에서 전통적인 감독 세분화 방법과의 비교를 수행한다.

제안 방법

• EndoVis 2017 및 2018 데이터셋에서 바운딩 박스와 단일 포인트 프롬프트를 사용하여 이진 및 기구별 세분화를 생성한다.
• 오류 분류를 완화하기 위해 바운딩 박스를 라벨링하고 프롬프트로부터 기구별 라벨을 도출한다.
• 강건성 벤치마크에 따라 18가지 손상 유형을 5단계 심각도에서 SAM을 평가한다.
• 기본 설정으로 수술 씬에서 SAM의 비프롬프트 자동 마스크 생성 기능을 평가한다.

실험 결과

연구 질문

• RQ1 바운딩 박스나 포인터로 프롬프트를 제공했을 때 SAM이 로봇 수술에서 정확한 기구 분할을 달성할 수 있는가?
• RQ2 일반적인 데이터 손상 및 섭동 하에서 다른 방법과 비교했을 때 SAM의 성능 저하는 얼마나 나타나는가?
• RQ3 프롬프트 없이 수술 씬의 자동 비프롬프트 세분화에 대해 SAM이 신뢰할 수 있는가?

주요 결과

• 바운딩 박스 프롬프트를 사용하면 SAM이 EndoVis 2017 및 2018에서 이진 및 기구별 세분화에 대해 다수의 기존 감독 방법들을 능가한다.
• 단일 포인트 프롬프트는 성능을 크게 저하시켜 강력한 프롬프트에 큰 의존성을 시사한다.
• SAM이 복잡한 씬에서 전체 기구를 분할하거나 같은 바운딩 박스 내에서 겹치는 기구를 분할하는 데 어려움을 겪는다.
• 데이터 손상하에서 대부분의 손상 유형과 심각도에서 현저한 성능 저하를 보이며, JPEG 및 가우시안 노이즈가 특히 영향력이 크다.
• 프롬프트 없는 자동 마스크 생성은 수술 씬에서 조각난 마스크와 제한된 기구 의미론을 초래하여 실용적 후속 활용을 제한한다.