[논문 리뷰] STTAR: Surgical Tool Tracking using off-the-shelf Augmented Reality Head-Mounted Displays

Alejandro Martin‐Gomez, Haowei Li외 7명|arXiv (Cornell University)|2022. 08. 17.

Augmented Reality Applications인용 수 5

한 줄 요약

이 논문은 Microsoft HoloLens 2와 같은 일반 소매 AR 헤드셋에 내장된 Time-of-Flight (ToF) 카메라를 활용하여 반사성 마커를 소수 밀리미터 이내의 정확도로 추적하는 STTAR 프레임워크를 제시한다. 이는 외부 하드웨어 없이 실시간으로 다중 도구 추적을 가능하게 하며, 수술 시나리오에서의 AR 가이드된 k-wire 삽입에 대한 실현 가능성을 입증한다. 성능은 횡방향 이동에서 0.09±0.06 mm, 종방향 이동에서 0.42±0.32 mm, 회전에서 0.80±0.39°의 정확도를 달성한다.

ABSTRACT

The use of Augmented Reality (AR) for navigation purposes has shown beneficial in assisting physicians during the performance of surgical procedures. These applications commonly require knowing the pose of surgical tools and patients to provide visual information that surgeons can use during the task performance. Existing medical-grade tracking systems use infrared cameras placed inside the Operating Room (OR) to identify retro-reflective markers attached to objects of interest and compute their pose. Some commercially available AR Head-Mounted Displays (HMDs) use similar cameras for self-localization, hand tracking, and estimating the objects' depth. This work presents a framework that uses the built-in cameras of AR HMDs to enable accurate tracking of retro-reflective markers, such as those used in surgical procedures, without the need to integrate any additional components. This framework is also capable of simultaneously tracking multiple tools. Our results show that the tracking and detection of the markers can be achieved with an accuracy of 0.09 +- 0.06 mm on lateral translation, 0.42 +- 0.32 mm on longitudinal translation, and 0.80 +- 0.39 deg for rotations around the vertical axis. Furthermore, to showcase the relevance of the proposed framework, we evaluate the system's performance in the context of surgical procedures. This use case was designed to replicate the scenarios of k-wire insertions in orthopedic procedures. For evaluation, two surgeons and one biomedical researcher were provided with visual navigation, each performing 21 injections. Results from this use case provide comparable accuracy to those reported in the literature for AR-based navigation procedures.

연구 동기 및 목표

• 상용 AR 헤드셋 마운트 디스플레이(HMD)의 내장 카메라만을 사용하여 정확한 수술 도구 추적 방법을 개발함으로써 추가 추적 하드웨어가 필요 없도록 하는 것.
• 혼잡한 수술실 환경에서 수술 마커와 추적 시스템 간의 선형 시야 확보 문제를 HMD 기반 추적 기술을 활용하여 해결하는 것.
• 실제 임상 상황과 유사한 시나리오, 예를 들어 정형외과 수술에서의 k-wire 삽입에 대해 실시간으로 다중 도구 추적의 실현 가능성을 평가하는 것.
• 기존 마커 기반 추적 시스템과의 성능 비교를 통해 초보자 사용자에게도 잠재적인 활용 가능성을 평가하는 것.

제안 방법

• Microsoft HoloLens 2의 내장된 Time-of-Flight (ToF) 센서를 활용해 수술 도구에 부착된 수동 반사성 마커를 감지하고 정위치를 결정한다.
• HMD의 시야와 이미지 센서를 정렬하는 校정 모델을 적용하여 가상 세계와 실제 세계 좌표 간의 정확한 공간 정렬을 보장한다.
• ToF 센서의 깊이 및 공간 해상도를 활용해 실시간으로 반사성 마커를 감지하고 추적하는 컴퓨터 비전 알고리즘을 적용한다.
• 도구 추적 데이터를 HMD의 자기 위치 추적 데이터와 통합하여 환자 및 환경에 대한 도구의 3차원 자세를 계산한다.
• 추적된 도구 자세를 기반으로 HMD에 가상의 경로 오버레이를 제공하여 k-wire 삽입 시 수술사를 안내한다.
• 다중 대상 추적 파이프라인을 구현하여 다섯 개의 다른 도구를 동시에 여러 마커로 추적하더라도 50 Hz 이상의 프레임 레이트를 유지한다.

실험 결과

연구 질문

• RQ1 일반 소매 AR HMD의 내장된 ToF 카메라가 임상 환경에서 수술 도구 추적에 충분한 정확도와 안정성을 확보할 수 있는가?
• RQ2 제안된 방법의 추적 정확도가 이동 및 회전 측면에서 상용 의료용 추적 시스템과 비교해 어떻게 되는가?
• RQ3 추가 하드웨어나 외부 적외선 조명 없이도 실시간으로 다중 도구 추적을 지원할 수 있는가?
• RQ4 실제 수술 과제, 예를 들어 k-wire 삽입에서의 시스템 성능은 어떠한가? 기존 AR 내비게이션 시스템과 비교해 볼 때 어떤가?
• RQ5 경험이 적은 사용자와 숙련된 수술사 간에 AR 가이드된 수술에서 정확도가 유사한가?

주요 결과

• 제안된 프레임워크는 횡방향 이동에서 0.09±0.06 mm, 종방향 이동에서 0.42±0.32 mm, 수직축을 중심으로 한 회전에서 0.80±0.39°의 추적 정확도를 달성한다.
• 단일 도구 추적 시 프레임 레이트가 172 Hz 이상 유지되며, 다섯 개의 도구를 동시에 여러 마커로 추적할 경우에도 50 Hz 이상을 유지한다.
• 전통적인 특징 기반 추적 기법인 ArUco(35 Hz)와 ChArUco(33.2 Hz)보다 높은 프레임 레이트를 기록하며, AHAT 카메라의 프레임 레이트(45 Hz)를 초월한다.
• k-wire 삽입 과제에서 문헌에 보고된 AR 기반 내비게이션 시스템과 유사한 정확도를 보였으며, 숙련된 수술사와 생물의학 연구원 간 성능에 유의미한 차이가 없었다.
• 가상 콘텐츠 렲영 지연은 여전히 주요 과제로 남아 있으며, 특히 12 fps 미만의 프레임 레이트를 보이는 무선 네트워크 환경에서는 추적 데이터와 HMD 위치 추적 데이터 간의 비동기화 가능성이 있다.
• 외부 적외선 조명이 필요 없어, HMD의 손 추적 및 환경 재구성 기능에 간섭을 일으키지 않는다.