[論文レビュー] Real-time Geometry-Aware Augmented Reality in Minimally Invasive Surgery

Long Chen, Wen Tang+1 more|arXiv (Cornell University)|Aug 3, 2017

Robotics and Sensor-Based Localization参考文献 16被引用数 6

ひとこと要約

本論文は、術前スキャンなしで、曲面をとらえる軟組織表面に正確かつインタラクティブに注釈、腫瘍ラベル、測定値を重ねられるリアルタイムで幾何学的感度を持つ拡張現実（AR）フレームワークを提示する。特徴ベースのSLAMによるリアルタイムカメラ追跡と、ゼロ平均正規化相互相関（ZNCC）を用いた段階的稠密ステレオマッチングを組み合わせることで、事前スキャンを必要とせず、手術中に詳細な3次元メッシュを再構築する。シミュレーションでは2.37 mmのRMS再構築誤差を達成し、柔ららか組織表面への正確なAR登録を可能にする。

ABSTRACT

The potential of Augmented Reality (AR) technology to assist minimally invasive surgeries (MIS) lies in its computational performance and accuracy in dealing with challenging MIS scenes. Even with the latest hardware and software technologies, achieving both real-time and accurate augmented information overlay in MIS is still a formidable task. In this paper, we present a novel real-time AR framework for MIS that achieves interactive geometric aware augmented reality in endoscopic surgery with stereo views. Our framework tracks the movement of the endoscopic camera and simultaneously reconstructs a dense geometric mesh of the MIS scene. The movement of the camera is predicted by minimising the re-projection error to achieve a fast tracking performance, while the 3D mesh is incrementally built by a dense zero mean normalised cross correlation stereo matching method to improve the accuracy of the surface reconstruction. Our proposed system does not require any prior template or pre-operative scan and can infer the geometric information intra-operatively in real-time. With the geometric information available, our proposed AR framework is able to interactively add annotations, localisation of tumours and vessels, and measurement labelling with greater precision and accuracy compared with the state of the art approaches.

研究の動機と目的

• 最小侵襲外科学（MIS）における曲がった可変性のある軟組織表面に、正確でリアルタイムなARオーバーレイを実現すること。
• 従来の2次元特徴追跡やスパars SLAM手法の限界を克服し、急激なカメラ移動下でも非平面な表面にARコンテンツを正確にマッピングできない問題を解決すること。
• 術前スキャンや外部追跡装置に依存せずに、手術中に被験者の3次元幾何学的形状を稠密に再構築するシステムを開発すること。
• 解剖学的曲面に合わせて正確かつインタラクティブにAR注釈、ラベリング、測定を実現すること。
• 照明変化、組織変形、高速エンドスコープ移動といったMISの困難な条件下でも、AR登録の正確性と耐障害性を向上させること。

提案手法

• スパース特徴点の再投影誤差を最小化することで、リアルタイムにエンドスコープカメラの位置を追跡する特徴ベースのSLAMアプローチを採用する。
• ゼロ平均正規化相互相関（ZNCC）を用いた段階的稠密ステレオマッチングを採用し、手術シーンの詳細な3次元幾何メッシュを構築する。
• ステレオ動画シーケンスから段階的に3次元表面を再構築することで、事前テンプレートや術前スキャンなしにリアルタイムでの幾何学的感度を実現する。
• クリックされた点における表面法線を用いて、ARラベル、測定線、注釈を再構築されたメッシュに正しく方向付け・固定する。
• グリッドサンプリングとRMSDに基づく評価を用い、シミュレーションにおいて再構築された表面を真値と定量的に比較する。
• ハムリン・センターのデータセットから得た生体内エンドスコープ動画を用いて、実世界への適用可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムARシステムは、高速で変動の激しいMIS環境下でもエンドスコープの正確で安定した追跡を達成できるか？
• RQ2 術前スキャンや外部追跡装置なしに、手術中に稠密な3次元表面再構築を実現できるか？
• RQ3 リアルタイムステレオビジョンと幾何学的メッシュ再構築のみを用いて、曲がった非平面な臓器表面にAR注釈や測定を正確にマッピングできるか？
• RQ4 照明変化、組織変形、高速カメラ移動の下で、システムの性能はいかがなっているか？
• RQ5 エンドスコープシーンにおいて、ZNCCに基づくステレオマッチングを用いた表面再構築で達成できる幾何学的正確性のレベルはどの程度か？

主な発見

• シミュレーションにおいて、真値3次元モデルと比較して2.37 mmのRMSDを達成し、高い幾何学的忠実性を示した。
• 生体内動画シーケンスによる検証で、軟組織表面の曲がりに合わせて正確に幾何学的感度を持つARオーバーレイ（ラベルや測定線など）が実現された。
• ステレオマッチングを用いてリアルタイムに稠密な3次元メッシュを再構築でき、領域強調や測定といったインタラクティブARアプリケーションを可能にした。
• 特徴ベースのSLAMとZNCCステレオマッチングの採用により、照明変化や組織変形に対しても耐障害性を示した。
• 術前スキャンや外部追跡装置が不要であるため、セットアップが迅速で、手術プロトコルへの統合が容易になった。
• 結果から、幾何学的感度を持つARは、平面的または2次元ベースのAR手法と比較して、MISにおけるARガイドの正確性と現実性を著しく向上させることを示した。