[論文レビュー] MIS-SLAM: Real-time Large Scale Dense Deformable SLAM System in Minimal Invasive Surgery Based on Heterogeneous Computing

Jingwei Song, Jun Wang+3 more|arXiv (Cornell University)|Mar 6, 2018

Robotics and Sensor-Based Localization参考文献 17被引用数 3

ひとこと要約

MIS-SLAM は、異種 CPU-GPU コンピューティングを用いて、最小侵襲外科におけるリアルタイムで大規模な密度の高い可変形状 SLAM システムを提案する。CPU で実行される ORB-SLAM を用いて堅牢なグローバルポーズ推定を実現し、GPU で加速された密度の高い再構成と統合することで、高速なカメラ運動や画像のぼやけにもかかわらず、可変形状組織のリアルタイムかつ高精度な 3D マッピングを達成した。生体データセット上での実験により、0.1 mm 未満の精度を示し、実用性を実証した。

ABSTRACT

Real-time simultaneously localization and dense mapping is very helpful for providing Virtual Reality and Augmented Reality for surgeons or even surgical robots. In this paper, we propose MIS-SLAM: a complete real-time large scale dense deformable SLAM system with stereoscope in Minimal Invasive Surgery based on heterogeneous computing by making full use of CPU and GPU. Idled CPU is used to perform ORB- SLAM for providing robust global pose. Strategies are taken to integrate modules from CPU and GPU. We solved the key problem raised in previous work, that is, fast movement of scope and blurry images make the scope tracking fail. Benefiting from improved localization, MIS-SLAM can achieve large scale scope localizing and dense mapping in real-time. It transforms and deforms current model and incrementally fuses new observation while keeping vivid texture. In-vivo experiments conducted on publicly available datasets presented in the form of videos demonstrate the feasibility and practicality of MIS-SLAM for potential clinical purpose.

研究の動機と目的

• 最小侵襲外科における高速な内視鏡移動や画像のぼやけによって引き起こされる内視鏡トラッキングの不安定性を解消すること。
• 軟組織の高精度な 3D 再構成を可能にする、リアルタイムで大規模な密度の高い可変形状 SLAM システムの開発。
• CPU で実行される ORB-SLAM を用いたグローバルポーズ推定と、GPU で加速された密度の高い再構成を統合し、システムの堅牢性と性能を向上させること。
• リアルタイムで高精度な組織モデリングを実現することで、手術における AR/VR の実用的応用を可能にすること。

提案手法

• CPU で改良された ORB-SLAM を実行し、堅牢なグローバルポーズ推定と特徴追跡を実現する異種コンピューティングアーキテクチャを採用する。
• ORB 特徴量とグローバルポーズを CPU から GPU のグローバルメモリに転送し、GPU 側の密度の高い再構成と統合する。
• GPU で加速された深度推定、非剛性登録、および新規のポイントクラウド管理戦略を用いたインクリメンタル統合により、メモリ使用量を削減し、性能を向上させる。
• ステレオ画像ペアからの組織変形を、埋め込み変形ノードに基づくワープフィールドでモデル化する。
• GPU の遅延を考慮し、最新のデータを優先するため、先入れ後出しスタックデータ構造を採用し、リアルタイム処理を保証する。
• CUDA を用いて GPU 上で直接 3D モデルを可視化することで、データ転送のオーバーヘッドを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 高速なカメラ運動や画像のぼやけがあっても、異種 CPU-GPU アーキテクチャが最小侵襲外科におけるリアルタイムで密度の高い可変形状 SLAM を可能にするか。
• RQ2 ORB-SLAM の堅牢なグローバルポーズ推定を、GPU で加速された密度の高い再構成と効果的に統合することで、システムの安定性が向上するか。
• RQ3 大規模で長時間にわたる軟組織再構成において、高精度を維持するとともに、低メモリ使用量を実現する統合戦略は何か。
• RQ4 グローバルポーズの初期化が、動的で非剛性な手術環境におけるバックプロジェクション精度に与える影響は何か。
• RQ5 本システムは、臨床的に許容可能な精度で、可変形状組織のリアルタイム可視化と再構成を達成できるか。

主な発見

• MIS-SLAM は、NVIDIA GeForce GTX TITAN X を搭載した単一デスクトップ上で、1 フレームあたり約 0.07 秒のリアルタイム処理を達成した。
• ポーズ初期化を用いることで、平均バックプロジェクション誤差が心臓で 0.41 mm、肝臓で 0.66 mm、右腎臓で 0.62 mm と、0.1 mm 未満の高精度を示した。
• ポーズ初期化なしでは、それぞれ平均誤差が 0.46 mm、0.68 mm、0.82 mm に増加し、初期化の重要性が確認された。
• ハムリン・ファントムデータセットを用いた in-vitro 実験では、平均精度が 0.28 mm および 0.35 mm に達し、制御された環境下での高精度を裏付けた。
• 照明の違い、テクスチャの融合問題、運動ぼやけといった課題に対しても、大規模な再構成を安定して実行し、視覚的品質を維持した。
• ポイントクラウド管理戦略の導入により、従来の TSDF に基づく統合と比較して、メモリ使用量が顕著に削減され、スケーラビリティが向上した。