[論文レビュー] STTAR: Surgical Tool Tracking using off-the-shelf Augmented Reality Head-Mounted Displays

Alejandro Martin‐Gomez, Haowei Li+7 more|arXiv (Cornell University)|Aug 17, 2022

Augmented Reality Applications被引用数 5

ひとこと要約

本稿では、Microsoft HoloLens 2 などの市販ARヘッドセットに内蔵されたTime-of-Flight (ToF) カメラを活用して、被動的反射性マーカーを用いた手術用器具のサブミリメートル精度でのリアルタイム、マルチツール追跡を実現するSTTARというフレームワークを提案する。外部ハードウェアを不要とし、手術室の複雑な環境下でも視線を確保する課題に対応する。本手法は、横方向の並進誤差が0.09±0.06 mm、縦方向の並進誤差が0.42±0.32 mm、回転誤差が0.80±0.39°を達成し、整形外科手術におけるARガイドドkワイヤ挿入の実現可能性を示している。

ABSTRACT

The use of Augmented Reality (AR) for navigation purposes has shown beneficial in assisting physicians during the performance of surgical procedures. These applications commonly require knowing the pose of surgical tools and patients to provide visual information that surgeons can use during the task performance. Existing medical-grade tracking systems use infrared cameras placed inside the Operating Room (OR) to identify retro-reflective markers attached to objects of interest and compute their pose. Some commercially available AR Head-Mounted Displays (HMDs) use similar cameras for self-localization, hand tracking, and estimating the objects' depth. This work presents a framework that uses the built-in cameras of AR HMDs to enable accurate tracking of retro-reflective markers, such as those used in surgical procedures, without the need to integrate any additional components. This framework is also capable of simultaneously tracking multiple tools. Our results show that the tracking and detection of the markers can be achieved with an accuracy of 0.09 +- 0.06 mm on lateral translation, 0.42 +- 0.32 mm on longitudinal translation, and 0.80 +- 0.39 deg for rotations around the vertical axis. Furthermore, to showcase the relevance of the proposed framework, we evaluate the system's performance in the context of surgical procedures. This use case was designed to replicate the scenarios of k-wire insertions in orthopedic procedures. For evaluation, two surgeons and one biomedical researcher were provided with visual navigation, each performing 21 injections. Results from this use case provide comparable accuracy to those reported in the literature for AR-based navigation procedures.

研究の動機と目的

• 市販ARヘッドマウントディスプレイ（HMD）に内蔵されたカメラのみを用いて、正確な手術用器具追跡手法を開発すること。
• 手術室の混雑した環境下でマーカーと追跡システムの視線を維持する課題に対処するため、HMDベースの追跡を活用すること。
• 臨床的関連性の高い状況、例えば整形外科手術におけるkワイヤ挿入を想定し、リアルタイムで複数のツールを追跡できるかを評価すること。
• 提案手法の性能を既存のマーカー基準追跡システムと比較し、初心者ユーザーへの応用可能性を評価すること。

提案手法

• Microsoft HoloLens 2に内蔵されたTime-of-Flight (ToF) センサを活用し、手術用器具に取り付けられた被動的反射性マーカーを検出・局所化する。
• HMDの視界と画像センサを一致させるためのキャリブレーションモデルを採用し、仮想空間と現実世界の座標間の正確な空間登録を確保する。
• ToFセンサの深度情報と空間分解能を活用して、コンピュータビジョンアルゴリズムを用いてリアルタイムで反射マーカーを検出・追跡する。
• HMDの自己位置特定データとツール追跡データを統合し、患者および環境に対する手術用ツールの3次元ポーズを計算する。
• トラッキングされたツールポーズに基づいて、HMDに仮想軌道オーバーレイを表示し、kワイヤ挿入時の手術支援を提供する。
• 複数のマーカーを同時に追跡する5種類の異なるツールに対しても、50 Hzを超えるフレームレートを維持できるマルチターゲット追跡パイプラインを実装する。

実験結果

リサーチクエスチョン

• RQ1 市販AR HMDに内蔵されたToFカメラは、臨床環境下での手術用器具追跡に十分な精度と安定性を達成できるか？
• RQ2 本手法の追跡精度は、医療用高精度追跡システムと比較して、並進および回転の観点でどの程度か？
• RQ3 追加のハードウェアや外部の赤外線照明を用いずに、リアルタイムでマルチツール追跡を実現できるか？
• RQ4 kワイヤ挿入のような実際の手術タスクにおけるシステムの性能は何か？ また、既存のARナビゲーションシステムと比較してどうか？
• RQ5 初心者ユーザーが経験豊富な外科医と同等の精度を達成できるか？

主な発見

• 提案されたフレームワークは、横方向並進誤差が0.09±0.06 mm、縦方向並進誤差が0.42±0.32 mm、垂直軸周りの回転誤差が0.80±0.39°の追跡精度を達成した。
• 1つのツールを追跡する際のフレームレートは172 Hz以上を維持し、複数のマーカーを有する5つのツールを同時に追跡する場合でも50 Hz以上を維持した。
• 本手法は、従来の特徴ベース追跡手法（ArUco: 35 Hz、ChArUco: 33.2 Hz）およびAHATカメラ（45 Hz）と比較して、フレームレートで優れた性能を示した。
• kワイヤ挿入タスクにおいて、文献に報告されたARベースナビゲーションシステムと同等の精度を示し、経験豊富な外科医とバイオメディカル研究者との間で性能に有意差は認めなかった。
• 仮想コンテンツのレンダリング遅延は、特に12 fps未満のフレームレートとなる無線ネットワーク環境下で、追跡データとHMDの自己位置特定データのズレを引き起こす主な課題である。
• 本手法は外部の赤外線照明を必要とせず、HMDの手の追跡および環境再構築機能への干渉を回避できる。