[논문 리뷰] Comparative evaluation of instrument segmentation and tracking methods in minimally invasive surgery

Sebastian Bodenstedt, Max Allan외 18명|arXiv (Cornell University)|2018. 05. 07.

Surgical Simulation and Training참고 문헌 20인용 수 50

한 줄 요약

이 논문은 로봇 및 일반 복강경 수술에서 영상 기반 기구 분할 및 추적 방법을 데이터 세트 기반으로 포괄적으로 비교하고, 딥러닝 기반 방법이 분할에서 전통적인 접근법을 능가하며 여러 방법의 결합이 정확도를 향상시키는 반면 추적은 여전히 도전적이라는 점을 보여준다.

ABSTRACT

Intraoperative segmentation and tracking of minimally invasive instruments is a prerequisite for computer- and robotic-assisted surgery. Since additional hardware like tracking systems or the robot encoders are cumbersome and lack accuracy, surgical vision is evolving as promising techniques to segment and track the instruments using only the endoscopic images. However, what is missing so far are common image data sets for consistent evaluation and benchmarking of algorithms against each other. The paper presents a comparative validation study of different vision-based methods for instrument segmentation and tracking in the context of robotic as well as conventional laparoscopic surgery. The contribution of the paper is twofold: we introduce a comprehensive validation data set that was provided to the study participants and present the results of the comparative validation study. Based on the results of the validation study, we arrive at the conclusion that modern deep learning approaches outperform other methods in instrument segmentation tasks, but the results are still not perfect. Furthermore, we show that merging results from different methods actually significantly increases accuracy in comparison to the best stand-alone method. On the other hand, the results of the instrument tracking task show that this is still an open challenge, especially during challenging scenarios in conventional laparoscopic surgery.

연구 동기 및 목표

• 로봇 수술 및 일반 복강경 수술에서 기구 분할 및 추적을 위한 공통의 공개 가능한 검증 데이터 세트를 제공한다.
• 표준화된 로봇 수술 및 일반 복강경 데이터에서 최첨단 시각 기반 분할 및 추적 방법을 비교한다.
• 방법의 결합이 최상의 독립 방법을 능가하는 분할 정확도 향상을 가져오는지 평가한다.
• 현실적인 수술 조건에서 기구 추적의 남은 도전 과제를 확인한다.

제안 방법

• 훈련/테스트 분할 및 주석 마스크가 포함된 두 개의 검증 데이터 세트를 마련하고 공개한다: 로봇 수술(관절형 기구) 및 일반 복강경 수술(강직 기구).
• 두 데이터 세트에서 서로 다른 그룹의 여러 분할 접근법(CNN 기반 및 RF 기반)을 평가한다.
• 분할 결과를 모션 추정 및 자세 추적으로 확장하는 여러 추적 접근법을 평가한다.
• 다수결 투표 및 STAPLE를 사용하여 여러 방법의 분할 결과를 병합해 정확도를 향상시키는 것을 조사한다.
• 주요 지표로 Dice 유사 계수(DSC)를 사용하고, 정밀도, 재현율, 정확도 등의 추가 지표를 사용한다; Wilcoxon 부호 순위 검정으로 통계적 유의성을 평가한다.

실험 결과

연구 질문

• RQ1 현실적인 도전 요인(가림/오클루전, 연기, 출혈, 매쉬 존재 등) 하에서 로봇 수술과 일반 복강경 데이터에 대해 현재의 시각 기반 기구 분할 방법들이 어떻게 성능을 보이나?
• RQ2 여러 분할 결과를 병합하면 데이터 세트와 도전적인 시나리오에서도 최고 단일 방법을 넘는 DSC 향상을 얻을 수 있는가?
• RQ3 다양한 수술 환경에서 기구의 중앙, 축, 방향을 가장 잘 추정하는 추적 방법은 무엇이며 주요 오차 요인은 무엇인가?
• RQ4 도전적인 조건에서 일반 복강경 수술에서 기구 추적의 남아 있는 한계는 무엇인가?

주요 결과

• CNN 기반 분할 방법은 일반적으로 로봇 및 일반 데이터 세트 모두에서 비-CNN 방법보다 우수하다.
• SEG-KIT-CNN이 D-CONV-SEG All에서 DSC 0.88로 최고 성능을 달성; SEG-JHU가 D-ROB-SEG에서 DSC 0.88로 선두를 차지한다.
• 다수결 투표 또는 STAPLE를 통한 분할 결과 병합은 최고 단일 방법을 크게 능가할 수 있으며 데이터 세트 전반에 걸쳐 유사한 이점을 보인다.
• D-CONV-SEG All에서 상위 3개 병합 구성이 최고 단일 방법을 능가하며, SEG-KIT-CNN이 상위 병합에 자주 포함된다.
• 일반 복강경 수술에서 기구 추적은 여전히 도전적이며, 가림, 출혈, 연기, 매쉬의 존재 여부에 따라 성능이 좌우된다.
• 여러 방법의 병합 추적 출력 역시 추적 정확도를 향상시키지만 이익은 시나리오와 방법 간의 보완성에 따라 달라진다.