[논문 리뷰] Intuitive Surgical SurgToolLoc Challenge Results: 2022-2023

Aneeq Zia, Max Berniker외 92명|arXiv (Cornell University)|2023. 05. 11.

Surgical Simulation and Training인용 수 5

한 줄 요약

이 논문은 2022–2023년 MICCAI SurgToolLoc 챌린지의 결과를 제시하며, 로봇 수술 시스템 로그에서 유도된 도구 존재 이벤트(약한 레이블)만을 사용하여 내 endoscopic 영상에서 수술도구를 검출하고 국소화하는 데에 기계학습 모델을 개발하도록 도전한 바를 다룹니다. 인간에 의한 레이블링된 바운딩 박스에 비해 비용이 더 높은 프레임 단위의 레이블이 필요로 하지 않습니다. 도구 분류(카테고리 1)에서는 뛰어난 성능을 보였지만, 국소화(카테고리 2)에서는 상당한 어려움을 겪었으며, 노이즈가 많고 희박한 레이블을 가진 수술 영상에서 강력한 약한 지도 학습 모델을 훈련시키는 데의 도전 과제를 드러냅니다.

ABSTRACT

Robotic assisted (RA) surgery promises to transform surgical intervention. Intuitive Surgical is committed to fostering these changes and the machine learning models and algorithms that will enable them. With these goals in mind we have invited the surgical data science community to participate in a yearly competition hosted through the Medical Imaging Computing and Computer Assisted Interventions (MICCAI) conference. With varying changes from year to year, we have challenged the community to solve difficult machine learning problems in the context of advanced RA applications. Here we document the results of these challenges, focusing on surgical tool localization (SurgToolLoc). The publicly released dataset that accompanies these challenges is detailed in a separate paper arXiv:2501.09209 [1].

연구 동기 및 목표

• 수술 영상 분석에서 비용이 많이 드는 인간 레이블링의 한계를 해결하기 위해 로봇 보조 수술 시스템에서 유도된 도구 존재 데이터를 약한 레이블로 활용함으로써.
• 도구 설치 및 제거 타임스탬프와 같은 도구 존재 이벤트가 정확한 수술도구 검출 및 국소화 모델을 훈련시키는 데에 충분한 지도 정보로 기능할 수 있는지 평가함으로써.
• 프레임 단위의 바운딩 박스 레이블이 필요로 하지 않는 스케일이 가능하고 자동화된 모델 훈련을 가능하게 하여 수술 데이터 과학 분야를 발전시킴으로써.
• 수술 AI 분야의 향후 연구를 지원하기 위해 24,695개의 영상 클립으로 구성된 대규모 공개 데이터셋을 도구 존재 레이블과 함께 공개함으로써.

제안 방법

• 참가자들은 훈련 중에 진정한 바운딩 박스 레이블에 접근할 수 없도록 도구 존재 레이블(예: 기구 설치/제거 타임스탬프)만을 약한 지도 학습으로 사용하여 모델을 훈련시켰습니다.
• 팀들은 수술 영상 데이터에 맞게 미세조정된 ResNet 백본과 트랜스포머 기반 모델을 포함한 최신 딥 러닝 아키텍처를 활용했습니다.
• 국소화(카테고리 2)의 경우, 분류 헤드에서 유도된 도구 위치를 예측하는 히트맵을 생성하기 위해 클래스 활성화 맵(CAM)과 같은 방법을 사용했습니다.
• 많은 팀들이 성능 향상과 일반화 능력 향상을 위해 공개된 수술 데이터셋인 EndoVis와 Cholec80를 사전 훈련에 활용했습니다.
• 챌린지는 두 가지 카테고리로 구성되었습니다: 카테고리 1은 프레임 단위의 도구 분류를 위한 것이고, 카테고리 2는 바운딩 박스를 포함한 동시 분류 및 국소화를 위한 것입니다.
• 성능 평가에는 표준 지표가 사용되었으며, 분류에는 mAP를, 국소화에는 IoU 임계값을 적용한 mAP를 사용했습니다.

Figure 1: Overview of challenge categories 1 and 2

실험 결과

연구 질문

• RQ1 로봇 수술 시스템에서 유도된 도구 존재 이벤트가 수술도구 검출 및 국소화 모델을 훈련시키는 데 효과적인 약한 지도 학습으로 기능할 수 있는가?
• RQ2 특히 국소화 작업에서, 완전히 지도 학습된 기준 모델 대비 약한 지도 학습 모델의 성능은 어떻게 되는가?
• RQ3 공개된 수술 데이터셋에서의 사전 훈련이 약한 지도 학습 기반 수술도구 인식 및 국소화 성능 향상에 어느 정도 기여하는가?
• RQ4 노이즈가 많고 희박한 레이블을 가진 수술 영상에 적용했을 때 현재 딥 러닝 모델의 주요 한계는 무엇인가?
• RQ5 개선된 아키텍처나 손실 함수 설계를 통해 분류와 국소화 작업 간 성능 격차를 줄일 수 있는가?

주요 결과

• 카테고리 1(도구 분류)에서는 참가 팀들이 뛰어난 성능을 기록하였으며, 상위 모델들은 높은 mAP 점수를 달성하여 약한 레이블이 신뢰할 수 있는 분류에 충분함을 시사합니다.
• 카테고리 2(국소화)에서는 카테고리 1에 비해 성능이 상당히 낮았으며, 대부분의 모델들이 표준 IoU 임계값 이하에서 만족스러운 국소화 정확도를 확보하지 못했습니다.
• 클래스 활성화 맵(CAM)의 사용은 국소화에 핵심적이었지만, 중간 정도의 효과성만 보였으며, 이는 수술도구 검출에 있어 공간적 주의 메커니즘의 한계를 시사합니다.
• EndoVis와 같은 공개 데이터셋에서의 사전 훈련은 모델 성능 향상에 상당한 기여를 하였으며, 카테고리 1에서는 13개 팀 중 5개, 카테고리 2에서는 3개 팀이 이러한 데이터를 활용했습니다.
• 카테고리 1에서 뛰어난 성능을 보인 모델들은 일반적으로 카테고리 2에서도 더 나은 성능을 보였으며, 이는 정확한 도구 존재 인식이 국소화의 전제 조건임을 시사합니다.
• 24,695개의 영상 클립으로 구성된 훈련 데이터셋은 도구 존재 레이블이 포함되어 있으며, 수술 AI 및 약한 지도 학습 분야의 향후 연구를 지원하기 위해 공개되었습니다.

Figure 2: Sample frames with presence labels (left) and a snapshot of the labels CSV file (right)