[論文レビュー] On-the-fly Augmented Reality for Orthopaedic Surgery Using a Multi-Modal Fiducial

Sebastian Andreß, Alex Johnson+7 more|arXiv (Cornell University)|Jan 4, 2018

Augmented Reality Applications参考文献 15被引用数 15

ひとこと要約

本論文は、多モード型フィducialマーカーを用いてCアーム Fluoroscopyシステムとオプティカル・シー・スルーヘッドマウントデバイス（HMD）を同時に自己キャリブレーションする、骨盤外科学におけるリアルタイム拡張現実（AR）システムを提案する。SLAMによるHMDの局所化とフィducialベースのキャリブレーションを活用することで、リアルタイムに2次元X線のアノテーションを3次元の仮想ガイドラインとしてレンダリングし、被ばく線量と手術時間の低減を実現するとともに、従来の画像ガイドド技術と同等の精度を達成する。

ABSTRACT

Fluoroscopic X-ray guidance is a cornerstone for percutaneous orthopaedic surgical procedures. However, two-dimensional observations of the three-dimensional anatomy suffer from the effects of projective simplification. Consequently, many X-ray images from various orientations need to be acquired for the surgeon to accurately assess the spatial relations between the patient's anatomy and the surgical tools. In this paper, we present an on-the-fly surgical support system that provides guidance using augmented reality and can be used in quasi-unprepared operating rooms. The proposed system builds upon a multi-modality marker and simultaneous localization and mapping technique to co-calibrate an optical see-through head mounted display to a C-arm fluoroscopy system. Then, annotations on the 2D X-ray images can be rendered as virtual objects in 3D providing surgical guidance. We quantitatively evaluate the components of the proposed system, and finally, design a feasibility study on a semi-anthropomorphic phantom. The accuracy of our system was comparable to the traditional image-guided technique while substantially reducing the number of acquired X-ray images as well as procedure time. Our promising results encourage further research on the interaction between virtual and real objects, that we believe will directly benefit the proposed method. Further, we would like to explore the capabilities of our on-the-fly augmented reality support system in a larger study directed towards common orthopaedic interventions.

研究の動機と目的

• 経皮的骨盤外科学手術における2次元 Fluoroscopy画像の限界、特に奥行き認識の欠如と繰り返し撮影による被ばく線量の増加を是正すること。
• 術前画像や複雑なキャリブレーションを不要とし、準備の整った手術室でない環境でも使用可能な、低セットアップのリアルタイムARガイドシステムを開発すること。
• HMDを介して、 Fluoroscopy X線画像に直接重ねて3次元の手術ガイドライン（例：線分や点）をリアルタイムで3次元可視化すること。
• X線撮影回数と総合的な手術時間を低減させつつ、従来の画像ガイドド技術と同等の精度を維持すること。
• HMDのRGBカメラと多モードフィducialのみを用いてARガイドを実現し、準備の整わない環境でも展開可能であるかを検討すること。

提案手法

• 多モードフィducialマーカーは、ARToolKitマーカーと透X線性の金属球を組み合わせ、同時に光学的およびX線的トラッキングを可能にする。
• HMDのRGBカメラからのSLAM（同時位置推定と地図作成）を用いて、デバイスの世界座標フレーム内での姿勢を推定する。
• HMDの姿勢を用いて、フィducialの光学的およびX線的視点を一致させるキャリブレーションパイプラインにより、Cアーム Fluoroscopyシステムと同時に登録する。
• キャリブレーションが完了すると、X線画像上の2次元アノテーション（例：点や線）が3次元空間に投影され、HMDの視界に仮想オブジェクトとしてレンダリングされる。
• HMDの深度手がかりと遠心距離設定を活用して視覚的整合性を向上させるが、焦点距離の制限により奥行き認識に影響を与える。
• 精度とワークフロー効率を評価するために、準人体的ホーンフェイクス上で妥当性試験を実施した。

実験結果

リサーチクエスチョン

• RQ1 術前画像が不要な状態で、Cアーム Fluoroscopyシステムとオプティカル・シー・スルーヘッドマウントデバイス（HMD）を、多モードフィducialを用いて正確かつリアルタイムに同時に登録可能か。
• RQ2 本ARシステムは、従来の Fluoroscopyと比較して、必要なX線撮影回数と総合的な手術時間の削減にどの程度寄与できるか。
• RQ3 ホーンフェイクス研究において、本システムの3次元ガイドラインの精度は、従来の画像ガイドド技術と比較してどの程度か。
• RQ4 現在のARハードウェアの限界、特に奥行き認識と実物・仮想オブジェクトの相互作用に関する課題は、手術ガイド用途にどのような影響を与えるか。
• RQ5 Cアームとの直接統合が不要な状況でも、HMDのカメラと物理的フィducialのみを用いて、本システムは準備の整わない手術室で動作可能か。

主な発見

• 従来の画像ガイドド技術と同等の精度を達成し、ターゲット局在誤差に有意差は認められなかった。
• X線撮影回数が顕著に減少した。ARによる3次元ガイドラインのおかげで、複数の2次元投影が必要なくなった。
• 手術時間の短縮が達成された。器具の局所化が高速化され、撮影回数も減少したが、正確な時間短縮率は絶対値で明示されなかった。
• HMDの固定焦点距離（約2 m）と調節不能な手がかりの欠如により、熟練経験のないユーザーでは奥行き認識が損なわれ、整合性の精度に影響を与えた。
• 準人体的ホーンフェイクスでの試験で、本システムの実用可能性が示された。これは、最小侵襲的骨盤外科学手術への臨床的展開の可能性を支持する。
• 未知または動的な環境条件下ではSLAMの信頼性に課題が見られたが、基本的なガイドライン機能は安定していた。