[論文レビュー] Augmented Reality for Depth Cues in Monocular Minimally Invasive Surgery

Long Chen, Wen Tang+3 more|arXiv (Cornell University)|Mar 1, 2017

Augmented Reality Applications参考文献 5被引用数 8

ひとこと要約

本論文は、カメラ追跡にORB-SLAMを用い、外れ値フィルタリング、Moving Least Squares（MLS）、Poisson表面再構築を組み合わせた堅牢なパイプラインを用いて、モノクローラル内視鏡におけるリアルタイム3D表面再構築および拡張現実（AR）フレームワークを提案する。カメラの軌道推定において1.24 mmのRMSEを達成し、表面再構築において4.32 mmのRMSDを達成しており、最小侵襲外科学における深度認識の向上に寄与する正確な深度補正AR可視化を可能にする。

ABSTRACT

One of the major challenges in Minimally Invasive Surgery (MIS) such as laparoscopy is the lack of depth perception. In recent years, laparoscopic scene tracking and surface reconstruction has been a focus of investigation to provide rich additional information to aid the surgical process and compensate for the depth perception issue. However, robust 3D surface reconstruction and augmented reality with depth perception on the reconstructed scene are yet to be reported. This paper presents our work in this area. First, we adopt a state-of-the-art visual simultaneous localization and mapping (SLAM) framework - ORB-SLAM - and extend the algorithm for use in MIS scenes for reliable endoscopic camera tracking and salient point mapping. We then develop a robust global 3D surface reconstruction frame- work based on the sparse point clouds extracted from the SLAM framework. Our approach is to combine an outlier removal filter within a Moving Least Squares smoothing algorithm and then employ Poisson surface reconstruction to obtain smooth surfaces from the unstructured sparse point cloud. Our proposed method has been quantitatively evaluated compared with ground-truth camera trajectories and the organ model surface we used to render the synthetic simulation videos. In vivo laparoscopic videos used in the tests have demonstrated the robustness and accuracy of our proposed framework on both camera tracking and surface reconstruction, illustrating the potential of our algorithm for depth augmentation and depth-corrected augmented reality in MIS with monocular endoscopes.

研究の動機と目的

• 2次元内視鏡視野による最小侵襲外科学（MIS）における深度認識の喪失という重要な課題に対処すること。
• モノクローラル内視鏡動画からリアルタイムかつ正確にラパロスコピックシーンの3D再構築を可能にし、深度補正を実現すること。
• 組織表面に対して正しい空間的位置に3D解剖モデルを重ね合わせることで、正確な空間的位置の3Dアノテーションとモデルを提示する深度補正拡張現実（AR）システムの開発。
• ステレオ内視鏡のコストと視野の制限といった限界を補うために、グローバルなシーン理解を実現するためのビジュアルSLAMを用いること。
• 臨床的妥当性を確認するため、合成シミュレーション動画と実際の生体内視鏡データの両方でフレームワークを検証すること。

提案手法

• 内視鏡シーンにおける急速な動き、明るさの変化、柔ららか組織の変形に対応できるように、ORB-SLAMをモノクローラルMISに適合させた。
• ORB-SLAMの特徴追跡とマップポイント推定から得られるスパarsな3D点群を用いて、シーン再構築を実行した。
• 外れ値除去フィルタを適用した後、スパース点群のノイズ除去と正則化にMoving Least Squares（MLS）平滑化を適用した。
• 前処理済みの点群から滑らかで閉じた3D表面を生成するために、Poisson表面再構築を採用した。
• 定量的評価のため、再構築された表面を基準となる3Dモデルと一致させるために単純な反復最近傍点（ICP）アルゴリズムを用いた。
• カメラポーズと3D表面データを統合し、リアルタイムの拡張現実システムを構築。これにより、内視鏡動画ストリームに正確な深度位置に配置された仮想3Dアノテーションやモデルを重ね合わせた。

実験結果

リサーチクエスチョン

• RQ1 難易度の高いモノクローラルラパロスコピック環境において、ORB-SLAMを効果的に適合させ、信頼性の高いリアルタイムカメラ追跡を実現できるか？
• RQ2 外れ値フィルタリング、MLS平滑化、Poisson再構築を組み合わせた堅牢なパイプラインが、MISにおけるスパースでノイズの多い点群から正確な3D表面を生成できるか？
• RQ3 幾何的正確性の観点から、再構築された3D表面は基準となる表面とどの程度一致するか？
• RQ4 再構築された3D表面とカメラポーズを用いて、モノクローラルMISにおける深度認識の向上を実現する正確な深度補正ARを達成できるか？
• RQ5 合成シミュレーションと比較して、実際の生体内視鏡動画データにおいて、このフレームワークはどの程度の性能を示すか？

主な発見

• 合成シミュレーションにおける基準となるカメラ軌道と比較して、ORB-SLAMベースのカメラ追跡は1.24 mmの平均二乗誤差（RMSE）を達成した。
• 基準となる3Dモデルと比較して、3D表面再構築は4.32 mmのRMSDを達成しており、良好な幾何的忠実度を示している。
• 視覚的比較と距離マップの結果から、再構築された3D表面は基準モデルとよく一致しており、表面距離の大部分が-1.0 mmから4.0 mmの範囲内に分布していた。
• フレームワークはリアルタイムの正確な深度補正ARを実現できており、仮想3Dアノテーションが組織表面に対して正しい深度位置に正しく配置された。
• 実際の生体内視鏡動画シーケンスにおいて、システムは耐障害性と正確性を示し、手術内での応用可能性を裏付けた。
• 全表面再構築パイプラインは600 msで完了し、臨床現場への導入に適したリアルタイム性能を達成した。