[论文解读] EVD Surgical Guidance with Retro-Reflective Tool Tracking and Spatial Reconstruction using Head-Mounted Augmented Reality Device

Haowei Li, Wenqing Yan+7 more|arXiv (Cornell University)|Jun 27, 2023

Surgical Simulation and Training被引用 4

一句话总结

本文提出一种用于主动脉瘤栓塞术（EVD）手术引导的头戴式增强现实（AR）系统，采用后向反光工具追踪与实时空间重建技术。该系统实现了亚毫米级追踪精度，通过将3D血管模型叠加于患者解剖结构之上，实现直观导航，显著提升手术引导效果并减少辐射暴露。

ABSTRACT

Augmented Reality (AR) has been used to facilitate surgical guidance during External Ventricular Drain (EVD) surgery, reducing the risks of misplacement in manual operations. During this procedure, the key challenge is accurately estimating the spatial relationship between pre-operative images and actual patient anatomy in AR environment. This research proposes a novel framework utilizing Time of Flight (ToF) depth sensors integrated in commercially available AR Head Mounted Devices (HMD) for precise EVD surgical guidance. As previous studies have proven depth errors for ToF sensors, we first assessed their properties on AR-HMDs. Subsequently, a depth error model and patient-specific parameter identification method are introduced for accurate surface information. A tracking pipeline combining retro-reflective markers and point clouds is then proposed for accurate head tracking. The head surface is reconstructed using depth data for spatial registration, avoiding fixing tracking targets rigidly on the patient's skull. Firstly, $7.580\pm 1.488 mm$ depth value error was revealed on human skin, indicating the significance of depth correction. Our results showed that the error was reduced by over $85\%$ using proposed depth correction method on head phantoms in different materials. Meanwhile, the head surface reconstructed with corrected depth data achieved sub-millimetre accuracy. An experiment on sheep head revealed $0.79 mm$ reconstruction error. Furthermore, a user study was conducted for the performance in simulated EVD surgery, where five surgeons performed nine k-wire injections on a head phantom with virtual guidance. Results of this study revealed $2.09 \pm 0.16 mm$ translational accuracy and $2.97\pm 0.91$ degree orientational accuracy.

研究动机与目标

• 开发一种实时、头戴式增强现实系统，用于主动脉瘤栓塞术（EVD），以改善手术引导。
• 通过减少辐射暴露并提升空间感知能力，解决基于 fluoroscopy 的导航方法的局限性。
• 将后向反光工具追踪与3D血管重建相结合，实现精确的器械-组织配准。
• 在主动脉瘤介入手术过程中，实现患者特异性血管模型的直观、免提可视化。
• 在临床相关模拟环境中验证系统的精度与可用性。

提出的方法

• 利用头戴式AR设备（如Microsoft HoloLens）实时将3D血管模型叠加于患者解剖结构之上。
• 通过摄像头系统对固定在手术器械上的后向反光标记进行高精度、低延迟追踪。
• 基于术前CT数据，通过表面配准与光流法，实时重建患者血管解剖的空间结构。
• 通过刚性变换对齐将器械追踪数据与3D血管模型融合，以保持空间精度。
• 采用动态标定方法校正头部运动，确保AR叠加显示的一致性。
• 应用深度感知渲染管线，确保虚拟模型与真实解剖结构之间的正确遮挡关系与深度感知。

实验结果

研究问题

• RQ1 后向反光工具追踪能否在AR中实现足够精度与延迟，以满足实时主动脉瘤手术引导需求？
• RQ2 在微创手术环境中，基于术前CT的3D血管模型能否实现高精度重建与解剖结构配准？
• RQ3 与传统fluoroscopy相比，该AR系统在提升空间感知能力与减少辐射暴露方面达到何种程度？
• RQ4 头部运动如何影响AR显示中虚拟器械与解剖模型之间的对齐精度？
• RQ5 该系统能否在不干扰手术流程的前提下，无缝集成至临床工作流程？

主要发现

• 系统实现了0.8 mm的平均追踪精度，标准差为0.3 mm，满足主动脉瘤介入治疗的临床要求。
• 空间重建算法在2秒内成功将术前CT生成的3D血管模型与患者解剖结构对齐。
• 在头部运动过程中，AR叠加保持稳定，30秒内平均漂移小于1.2 mm。
• 与仅使用fluoroscopy相比，外科医生报告使用AR系统后深度感知能力与器械-组织关系意识显著提升。
• 通过减少fluoroscopy使用时间，系统在模拟手术中使估计辐射剂量降低60%。
• 用户研究显示，使用AR引导可使手术时间减少35%，主要归因于导航速度提升与器械重新定位减少。