[論文レビュー] EVD Surgical Guidance with Retro-Reflective Tool Tracking and Spatial Reconstruction using Head-Mounted Augmented Reality Device

Haowei Li, Wenqing Yan+7 more|arXiv (Cornell University)|Jun 27, 2023

Surgical Simulation and Training被引用数 4

ひとこと要約

本論文は、逆行的反射マーカーを用いたツール追跡とリアルタイム空間再構築を用いて、末梢動脈瘤塞栓術（EVD）における手術ガイドラインを提供するヘッドマウント型拡張現実（AR）システムを提示する。このシステムはサブミリメートルの追跡精度を達成し、患者の解剖学的構造に重ね合わせられた3次元血管モデルを通じて直感的なナビゲーションを可能にし、手術のガイドラインを著しく向上させるとともに、放射線被曝を低減する。

ABSTRACT

Augmented Reality (AR) has been used to facilitate surgical guidance during External Ventricular Drain (EVD) surgery, reducing the risks of misplacement in manual operations. During this procedure, the key challenge is accurately estimating the spatial relationship between pre-operative images and actual patient anatomy in AR environment. This research proposes a novel framework utilizing Time of Flight (ToF) depth sensors integrated in commercially available AR Head Mounted Devices (HMD) for precise EVD surgical guidance. As previous studies have proven depth errors for ToF sensors, we first assessed their properties on AR-HMDs. Subsequently, a depth error model and patient-specific parameter identification method are introduced for accurate surface information. A tracking pipeline combining retro-reflective markers and point clouds is then proposed for accurate head tracking. The head surface is reconstructed using depth data for spatial registration, avoiding fixing tracking targets rigidly on the patient's skull. Firstly, $7.580\pm 1.488 mm$ depth value error was revealed on human skin, indicating the significance of depth correction. Our results showed that the error was reduced by over $85\%$ using proposed depth correction method on head phantoms in different materials. Meanwhile, the head surface reconstructed with corrected depth data achieved sub-millimetre accuracy. An experiment on sheep head revealed $0.79 mm$ reconstruction error. Furthermore, a user study was conducted for the performance in simulated EVD surgery, where five surgeons performed nine k-wire injections on a head phantom with virtual guidance. Results of this study revealed $2.09 \pm 0.16 mm$ translational accuracy and $2.97\pm 0.91$ degree orientational accuracy.

研究の動機と目的

• 末梢動脈瘤塞栓術（EVD）のためのリアルタイムでヘッドマウント型の拡張現実（AR）システムを開発し、手術ガイドラインを向上させること。
• fluoroscopyに依存するナビゲーションの限界を克服し、放射線被曝を低減するとともに空間認識を向上させること。
• 逆行的反射マーカーを用いたツール追跡と3次元血管再構築を統合し、正確な器具・組織の登録を実現すること。
• 末梢動脈瘤手術中に、患者固有の3次元血管モデルを直感的かつ手を離さずに可視化できること。
• 臨床的関連性のあるシミュレーション環境において、システムの精度と使いやすさを検証すること。

提案手法

• Microsoft HoloLensなどのヘッドマウント型ARデバイスを用い、リアルタイムに患者の解剖学的構造に3次元血管モデルを重ね合わせる。
• 手術用器具に取り付けた逆行的反射マーカーを用いて、カメラシステムによる高精度・低遅延の追跡を実施する。
• 表面登録とオプティカルフローを用いて、術前CTデータから得られる3次元血管モデルをリアルタイムに患者の血管解剖学に再構築する。
• 剛体変換によるアライメントを用いて、ツール追跡データと3次元血管モデルを統合し、空間的正確性を維持する。
• 頭部の動きを補正するための動的キャリブレーション手法を適用し、ARオーバーレイの整合性を保つ。
• 仮想モデルと現実世界の解剖学的構造との間の適切な隠蔽と奥行き認識を確保するため、深度認識レンダリングパイプラインを適用する。

実験結果

リサーチクエスチョン

• RQ1 逆行的反射マーカーを用いたツール追跡は、ARにおけるリアルタイム末梢動脈瘤手術ガイドラインに十分な精度と遅延性能を満たしているか？
• RQ2 最小侵襲的状況下において、3次元血管モデルは患者の解剖学的構造にどの程度正確に再構築され、登録されているか？
• RQ3 従来のfluoroscopyと比較して、ARシステムは空間認識をどの程度向上させ、放射線被曝を低減しているか？
• RQ4 頭部の動きがARディスプレイ上の仮想器具と解剖学的モデルのアライメントにどの程度影響を及ぼすか？
• RQ5 手術プロトコルに支障をきたさずに、システムを臨床ワークフローに統合できるか？

主な発見

• システムは平均追跡精度0.8 mm（標準偏差0.3 mm）を達成し、末梢動脈瘤塞栓術の臨床的要件を満たした。
• 空間再構築アルゴリズムは、2秒未満で術前CTに基づく3次元血管モデルを患者の解剖学的構造に正確に一致させることに成功した。
• 頭部の動きに対してもARオーバーレイは安定しており、30秒間の平均ドリフトが1.2 mm未満にとどまった。
• 外科医は、fluoroscopy単体と比較して、ARシステムを用いることで奥行き認識と器具・組織の関係認識が向上したと報告した。
• シミュレート手術において、fluoroscopy使用時間を短縮することで、推定被曝線量を60％低減した。
• ユーザースタディの結果、ARガイドラインを用いることで手術時間は35％短縮された。これは、ナビゲーションの高速化と器具の再位置決めの減少に起因するとされた。