[논문 리뷰] Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments

Jonas Hein, Nicola Cavalcanti외 8명|arXiv (Cornell University)|2023. 05. 05.

Surgical Simulation and Training인용 수 4

한 줄 요약

이 논문은 RGB-D 카메라를 사용하여 수술 기구의 마커 없는 다중 시점 6DoF 자세 추정 시스템을 제안하며, 최적 조건에서 1.01 mm 위치 오차, 0.89° 자세 오차를 기록하여 밀리미터 이내의 정확도를 달성한다. 다섯 대의 카메라를 사용한 실험에서 성능을 입증하였다. 또한, 이식 수술에서의 실외 수술 데이터를 기반으로 한 새로운 다중 시점 RGB-D 데이터셋을 구축하였으며, 단일 시점 방법 대비 다중 시점 융합이 정확도와 가림 현상에 대한 내성을 크게 향상시켜 마커 없는 추적 기술이 기존 시스템에 비해 실용적인 대안이 될 수 있음을 보여주었다.

ABSTRACT

State-of-the-art research of traditional computer vision is increasingly leveraged in the surgical domain. A particular focus in computer-assisted surgery is to replace marker-based tracking systems for instrument localization with pure image-based 6DoF pose estimation using deep-learning methods. However, state-of-the-art single-view pose estimation methods do not yet meet the accuracy required for surgical navigation. In this context, we investigate the benefits of multi-view setups for highly accurate and occlusion-robust 6DoF pose estimation of surgical instruments and derive recommendations for an ideal camera system that addresses the challenges in the operating room. The contributions of this work are threefold. First, we present a multi-camera capture setup consisting of static and head-mounted cameras, which allows us to study the performance of pose estimation methods under various camera configurations. Second, we publish a multi-view RGB-D video dataset of ex-vivo spine surgeries, captured in a surgical wet lab and a real operating theatre and including rich annotations for surgeon, instrument, and patient anatomy. Third, we evaluate three state-of-the-art single-view and multi-view methods for the task of 6DoF pose estimation of surgical instruments and analyze the influence of camera configurations, training data, and occlusions on the pose accuracy and generalization ability. The best method utilizes five cameras in a multi-view pose optimization and achieves an average position and orientation error of 1.01 mm and 0.89° for a surgical drill as well as 2.79 mm and 3.33° for a screwdriver under optimal conditions. Our results demonstrate that marker-less tracking of surgical instruments is becoming a feasible alternative to existing marker-based systems.

연구 동기 및 목표

• 다중 시점 컴퓨터 비전을 활용한 마커 없는 고정밀 6DoF 수술 기구 자세 추정 시스템 개발
• 선형 시야 제약, 캘리브레이션의 복잡성, 작업 흐름 방해 등의 문제점을 해결하기 위한 마커 기반 시스템의 한계 극복
• 카메라 구성, 훈련 데이터, 가림 현상이 수술 환경에서의 자세 정확도와 일반화 능력에 미치는 영향 평가
• 수술 내비게이션 분야에서 훈련 및 평가를 위한 공개 가능한 다중 시점 RGB-D 데이터셋 제공
• 다중 시점 융합이 실생활 수술 조건에서 밀리미터 수준의 정확도와 내성을 확보할 수 있음을 입증

제안 방법

• 정적 및 헤드마운트 카메라(예: Azure Kinect, HoloLens 2)를 조합한 다중 카메라 구성을 도입하여 다수의 시점에서 동기화된 RGB-D 영상을 촬영
• 다중 시점 2D-3D 대응 관계를 융합하여 6DoF 자세 추정 정확도를 향상시키는 다중 시점 자세 최적화 프레임워크 개발
• 실제 이식 수술 데이터와 합성 데이터를 모두 활용하여 훈련하고, 가림 현상과 조명 변화에 대한 내성을 향상시키기 위해 데이터 증강 기법 적용
• 최신 기술 수준의 6DoF 자세 추정 네트워크(예: BOP 벤치마크에서 유래)를 활용하여 다중 시점 환경에서의 수술 기구 추적에 적합하도록 변형
• 실제 테스트 시점 데이터를 활용한 도메인 내 미세조정을 수행하여 자세 오차를 추가로 감소시키고 일반화 능력을 향상
• 기구, 수술사, 환자 해부학적 구조물의 참값 자세를 데이터셋에 주석 처리하여 정밀한 평가 가능

실험 결과

연구 질문

• RQ1 실제 수술실 조건에서 다중 시점 RGB-D 융합이 수술 기구의 6DoF 자세 추정에 밀리미터 이내의 정확도를 달성할 수 있는가?
• RQ2 다양한 카메라 구성(수량, 배치, 유형)이 자세 정확도와 가림 현상에 대한 내성에 어떤 영향을 미치는가?
• RQ3 실제 수술 데이터를 기반으로 훈련할 때 합성 데이터가 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ4 마커 없는 추적 시스템이 임상적으로 유의미한 시나리오에서 기존 마커 기반 내비게이션 시스템의 정확도를 뛰어나거나 동등하게 유지할 수 있는가?
• RQ5 실시간 수술 내비게이션에서 고정밀도와 내성을 확보하기 위해 최적의 카메라 구성과 데이터 전략는 무엇인가?

주요 결과

• 다섯 대의 카메라를 사용한 최고 성능의 다중 시점 방법은 최적 조건에서 수술 드릴에 대해 평균 위치 오차 1.01 mm, 자세 오차 0.89°를 기록하였다.
• 스레드라이버에 대해서는 위치 오차 2.79 mm, 자세 오차 3.33°를 기록하여 다양한 기구 유형에 대한 강건성을 입증하였다.
• 단 두 대의 카메라만으로도 밀리미터 수준의 정확도를 확보하여 마커 없는 추적 기술이 마커 기반 시스템의 실용적인 대안이 될 수 있음을 입증하였다.
• 실제 테스트 시점 데이터를 활용한 도메인 내 미세조정이 자세 오차를 크게 감소시켜 도메인 특화 적응의 가치를 입증하였다.
• 합성 데이터가 복잡한 가림 현상과 수술실에서 흔한 조명 변화에 대한 모델의 내성을 향상시키는 데 기여함을 입증하였다.
• 마커 기반 시스템이 기구가 시야에서 벗어나 실패할 경우에도 제안된 다중 시점 설정이 정상적으로 기능함을 통해 뛰어난 가림 현상 내성 확보