[論文レビュー] SLAM based Quasi Dense Reconstruction For Minimally Invasive Surgery Scenes

Nader Mahmoud, Alexandre Hostettler+4 more|arXiv (Cornell University)|May 25, 2017

Robotics and Sensor-Based Localization参考文献 18被引用数 33

ひとこと要約

本稿では、単眼内視鏡とSLAMベースのスパarsityマッピングを用いて、最小侵襲的腹腔鏡手術シーンの準密度3次元再構成手法を提案する。初期探索フェーズにおけるキーフレームペアの活用と相関ベースの特徴なしパッチマッチングを適用することで、計算コストを最小限に抑えながらスパarsity ORB-SLAMマップを密度化し、ブタ実験においてCTの真値と登録した際の平均二乗誤差が4.9mmに達した。

ABSTRACT

Recovering surgical scene structure in laparoscope surgery is crucial step for surgical guidance and augmented reality applications. In this paper, a quasi dense reconstruction algorithm of surgical scene is proposed. This is based on a state-of-the-art SLAM system, and is exploiting the initial exploration phase that is typically performed by the surgeon at the beginning of the surgery. We show how to convert the sparse SLAM map to a quasi dense scene reconstruction, using pairs of keyframe images and correlation-based featureless patch matching. We have validated the approach with a live porcine experiment using Computed Tomography as ground truth, yielding a Root Mean Squared Error of 4.9mm.

研究の動機と目的

• 外部トラッキングや人工マーカーを用いずに、最小侵襲的腹腔鏡手術における正確でリアルタイムな3次元シーン再構成を可能にすること。
• 特徴ベースのSLAMシステムの限界、すなわちスパarsityマップを生成し、手術組織に一般的に見られるテクスチャの欠如や低コントラスト領域で失敗することを克服すること。
• 探索フェーズ終了後にスパarsity SLAMマップを密度化することで、単眼内視鏡のみを用いて準密度再構成を達成すること。
• 術前CT/MRIと術中腹腔内視鏡ビューの正確な相互モodal登録を可能にし、拡張現実ガイドランスを支援すること。
• リアルタイム性能を維持するために、密度再構成を後処理フェーズに移譲しつつ、高速なSLAMトラッキングを保持すること。

提案手法

• 手術医の初期探索フェーズ中にORB-SLAMを用いてスパarsity 3次元マップを生成する。この段階では剛体運動であり、器具の干渉がないものと仮定する。
• 共視性グラフにおける基準点（baseline）に基づいてキーフレームペアを選択し、深度推定用にステレオペアとして扱う。
• 特徴ベースの密度化では、ステレオペアからの三角測量を用いて一致しないORB特徴点を同定・再構成する。
• 深度伝搬には正規化相互相関（NCC）を用い、キーフレームペア間の特徴なしパッチをマッチングすることで、低テクスチャおよび均一な領域における深度推定を可能にする。
• 外れ値除去と表面平滑化には、移動最小二乗法（MLS）ノイズ除去とRANSACベースのフィルタリングを実施する。
• 最終的な準密度再構成は、ホーンのアルゴリズムを用いて術前CTにアライメントし、精度評価のためのICPリファインメントを実施する。

実験結果

リサーチクエスチョン

• RQ1 単眼SLAMシステムを拡張して、手術用ARアプリケーションに適した準密度3次元再構成を実現できるか？
• RQ2 柔らかい組織に一般的に見られる特徴なし領域を、テクスチャに依存せずに効果的に密度化できるか？
• RQ3 SLAM終了後に密度再構成を効率的に行えるか、リアルタイムトラッキング性能に悪影響を及げないか？
• RQ4 再構成された腹腔内視鏡シーンを術前CTデータに登録した際、どの程度の幾何的精度が達成できるか？
• RQ5 内視鏡画像に一般的に見られる照明変化や鏡面反射に対して、本手法はどの程度の耐性を示すか？

主な発見

• 提案手法は、ライブブタ実験において、準密度再構成を術前CTモデルに登録した際、平均二乗誤差（RMSE）が4.9mmに達した。
• 再構成点の85%がCT表面からの距離が6.7mm未満であり、全体的な幾何的忠実度が非常に高いことが示された。
• 全348,068点のうち15%が外れ値と分類されたが、主に呼吸による非剛体的腹部壁変形が原因で、正確な再投影が困難だった。
• 誤差6.7mm未満の点をインライアーとみなしてしきい値処理した後、RMSEは2.8mmに低下し、再構成の大部分で高い精度が達成されたことが示された。
• リアルタイム動作中の平均トラッキング時間は1フレームあたり25msを維持しており、密度再構成を後処理に移譲することでリアルタイム性能が保持されていることが確認された。
• 正規化相互相関（NCC）の使用により、顕著な照明変化下でも堅牢なマッチングが可能となり、他の特徴なしマッチング手法に比べて顕著な利点を示した。