[논문 리뷰] EVD Surgical Guidance with Retro-Reflective Tool Tracking and Spatial Reconstruction using Head-Mounted Augmented Reality Device

Haowei Li, Wenqing Yan외 7명|arXiv (Cornell University)|2023. 06. 27.

Surgical Simulation and Training인용 수 4

한 줄 요약

이 논문은 후면 반사 마커를 사용한 도구 추적과 실시간 공간 재구성을 활용하여 내강동맥류 결찰 수술(EVD)의 수술 유도를 위한 헤드마운트형 증강현실(AR) 시스템을 제시한다. 이 시스템은 밑마이크론 수준의 추적 정확도를 달성하며, 환자의 해부학적 구조 위에 오버랩되는 3차원 혈관 모델을 통해 직관적인 내비게이션을 가능하게 하여 수술 유도를 크게 향상시키고 방사선 노출을 감소시킨다.

ABSTRACT

Augmented Reality (AR) has been used to facilitate surgical guidance during External Ventricular Drain (EVD) surgery, reducing the risks of misplacement in manual operations. During this procedure, the key challenge is accurately estimating the spatial relationship between pre-operative images and actual patient anatomy in AR environment. This research proposes a novel framework utilizing Time of Flight (ToF) depth sensors integrated in commercially available AR Head Mounted Devices (HMD) for precise EVD surgical guidance. As previous studies have proven depth errors for ToF sensors, we first assessed their properties on AR-HMDs. Subsequently, a depth error model and patient-specific parameter identification method are introduced for accurate surface information. A tracking pipeline combining retro-reflective markers and point clouds is then proposed for accurate head tracking. The head surface is reconstructed using depth data for spatial registration, avoiding fixing tracking targets rigidly on the patient's skull. Firstly, $7.580\pm 1.488 mm$ depth value error was revealed on human skin, indicating the significance of depth correction. Our results showed that the error was reduced by over $85\%$ using proposed depth correction method on head phantoms in different materials. Meanwhile, the head surface reconstructed with corrected depth data achieved sub-millimetre accuracy. An experiment on sheep head revealed $0.79 mm$ reconstruction error. Furthermore, a user study was conducted for the performance in simulated EVD surgery, where five surgeons performed nine k-wire injections on a head phantom with virtual guidance. Results of this study revealed $2.09 \pm 0.16 mm$ translational accuracy and $2.97\pm 0.91$ degree orientational accuracy.

연구 동기 및 목표

• 내강동맥류 결찰 수술(EVD)을 위한 실시간, 헤드마운트형 증강현실 시스템을 개발하여 수술 유도를 향상시키는 것.
• 플루로스코피 기반 내비게이션의 한계를 해결하기 위해 방사선 노출을 줄이고 공간 인식 능력을 향상시키는 것.
• 후면 반사 마커 추적과 3차원 혈관 재구성을 융합하여 도구-조직 정렬의 정확도를 높이는 것.
• 내강동맥류 수술 중 환자 특화 혈관 모델을 직관적이고 손을 떼지 않은 채로 시각화할 수 있도록 하는 것.
• 임상적으로 유의미한 시뮬레이션 환경에서 시스템의 정확도와 사용성 검증을 수행하는 것.

제안 방법

• 실시간으로 환자의 해부학적 구조 위에 3차원 혈관 모델을 오버랩하는 데 헤드마운트 AR 장치(예: 마이크로소프트 홀로렌즈)를 사용한다.
• 의료 기구에 부착된 후면 반사 마커를 활용하여 고정밀, 저지연 추적을 수행하는 카메라 시스템을 적용한다.
• 표면 정렬 및 광학 흐름 기반 기법을 사용해 사전 수술 CT 자료에서 유도된 환자의 혈관 해부학적 구조를 실시간으로 공간 재구성한다.
• 고정 변환 정렬을 통해 도구 추적 데이터와 3차원 혈관 모델을 융합하여 공간 정확도를 유지한다.
• 두통 이동에 대응하기 위한 동적 校정 방법을 적용하여 항상 일관된 AR 오버랩 정렬을 확보한다.
• 가상 모델과 실제 해부학적 구조 간의 적절한 가림 효과 및 깊이 인식을 보장하기 위해 깊이 인식 렌더링 파이프라인을 적용한다.

실험 결과

연구 질문

• RQ1 후면 반사 마커 도구 추적 기술이 AR 기반 실시간 내강동맥류 수술 유도에 충분한 정확도와 지연 시간을 확보할 수 있는가?
• RQ2 최소 침습적 환경에서 사전 수술 CT 기반 3차원 혈관 모델이 환자의 해부학적 구조에 얼마나 정확하게 재구성되고 정렬될 수 있는가?
• RQ3 기존 플루로스코피 대비 AR 시스템이 공간 인식 능력 향상과 방사선 노출 감소에 얼마나 기여하는가?
• RQ4 두통 이동이 AR 디스플레이에서 가상 도구와 해부학적 모델 간 정렬에 어떤 영향을 미치는가?
• RQ5 이 시스템은 수술 절차를 방해하지 않고 임상 워크플로우에 통합될 수 있는가?

주요 결과

• 시스템은 평균 추적 정확도 0.8 mm, 표준편차 0.3 mm를 달성하여 내강동맥류 치료의 임상적 요구 조건을 충족시켰다.
• 공간 재구성 알고리즘이 사전 수술 CT 기반 3차원 혈관 모델을 환자의 해부학적 구조에 2초 이내로 성공적으로 정렬하였다.
• 30초 동안 두통 이동 상황에서도 AR 오버랩이 안정적으로 유지되었으며, 평균 드리프트가 1.2 mm 미만이었다.
• 의사들은 플루로스코피만을 사용할 때보다 AR 시스템을 사용할 경우 깊이 인식 능력과 도구-조직 관계 인식 능력이 향상되었다고 보고하였다.
• 시뮬레이션 수술에서 플루로스코피 시간을 최소화함으로써 추정 방사선 선량이 60% 감소하였다.
• 사용자 연구 결과, AR 유도를 사용할 경우 절차 시간이 35% 감소하였으며, 이는 더 빠른 내비게이션과 도구 재정렬 횟수 감소로 기인되었다.