[論文レビュー] Magnetic-Visual Sensor Fusion based Medical SLAM for Endoscopic Capsule Robot

Mehmet Turan, Yasin Almalıoğlu+4 more|arXiv (Cornell University)|May 17, 2017

Gastrointestinal Bleeding Diagnosis and Treatment参考文献 29被引用数 9

ひとこと要約

本稿では、粒子フィルタと再帰ニューラルネットワークを用いた磁気および視覚センシングの融合により、内視鏡カプセルロボット向けのリアルタイムで高密度な非剛性SLAMシステムを提案する。多様な軌道における体外豚胃試験において、局所化誤差と表面再構築誤差が2 cm未塔を達成し、運動ブラーおよび低テクスチャ環境に対しても頑健であることを示した。

ABSTRACT

A reliable, real-time simultaneous localization and mapping (SLAM) method is crucial for the navigation of actively controlled capsule endoscopy robots. These robots are an emerging, minimally invasive diagnostic and therapeutic technology for use in the gastrointestinal (GI) tract. In this study, we propose a dense, non-rigidly deformable, and real-time map fusion approach for actively controlled endoscopic capsule robot applications. The method combines magnetic and vision based localization, and makes use of frame-to-model fusion and model-to-model loop closure. The performance of the method is demonstrated using an ex-vivo porcine stomach model. Across four trajectories of varying speed and complexity, and across three cameras, the root mean square localization errors range from 0.42 to 1.92 cm, and the root mean square surface reconstruction errors range from 1.23 to 2.39 cm.

研究の動機と目的

• 診断および治療ナビゲーションの向上を目的とした、能動的制御カプセル内視鏡における正確でリアルタイムの局所化および3次元マッピングのニーズに対応する。
• 視覚のみのSLAMが低テクスチャ、鏡面反射、ノイズの多い内視鏡環境で制限を受けるのを補うために、磁気局所化を統合する。
• サーフェルベースのモデリングを用いて、柔らかく変形性のある消化管組織の高密度で非剛性の3次元表面再構築を可能にする。
• 粒子フィルタを用いたセンサ融合と運動モデル推定により、センサ故障および動的な臓器の動きに対しても頑健性を確保する。
• 異なる運動条件下でのリアルな体外豚胃モデルにおけるシステムの性能を実証する。

提案手法

• 正確なセンサの整合性を確保するため、3次元磁気ホールセンサアレイとカプセルのRGBカメラ間のオフライン相互センサキャリブレーションを実施する。
• 外部磁界測定に基づく磁気局所化システムを用いて5自由度（5-DoF）の姿勢を推定する。
• 視覚データとサーフェルベースの3次元モデル照合を用いたフレーム対モデルの光度幾何最適化により、6自由度（6-DoF）の姿勢を推定する。
• 再帰的ニューラルネットワークを用いた運動モデル予測と組み合わせたバックプロパゲーションベースの粒子フィルタを用いて、磁気および視覚の姿勢推定値を融合する。
• 粒子フィルタとグラフに基づく方程式から導出される変形制約を用いた非剛性フレーム対モデルの登録を実施する。
• アクティブおよび非アクティブなモデル領域間の空間的交差を検出し、非剛性統合を実行することで、モデル対モデルのループクロージャを実装する。

実験結果

リサーチクエスチョン

• RQ1 挑戦的な内視鏡条件下において、磁気-視覚センサ融合がカプセル内視鏡ロボットの局所化精度を向上させ得るか？
• RQ2 RNNベースの運動モデリングを有する粒子フィルタは、磁気および視覚の姿勢推定値を融合させ、リアルタイムSLAMに有効に機能するか？
• RQ3 サーフェルベースの高密度再構築は、消化管の非剛性および変形性解剖学的特徴をどの程度正確に捉えることができるか？
• RQ4 異なる運動ダイナミクスおよび複雑さの下で、システムの局所化および表面再構築の精度はどの程度の性能を示すか？
• RQ5 提案されたループクロージャメカニズムは、非剛性で柔らかい組織環境において、漂移を効果的に是正できるか？

主な発見

• 4つの異なる速度および複雑さの軌道において、システムは0.42 cmから1.92 cmの平均二乗誤差（RMS）局所化誤差を達成した。
• 表面再構築誤差は1.23 cmから2.39 cmの範囲にあり、最も複雑な軌道（高速移動を伴う）で最大誤差2.39 cmが観察された。
• 平均フレーム処理時間は58 ms（ピーク67 ms）であり、標準デスクトップPC上での最悪ケース処理周波数は15 Hzを達成した。
• ベイズフィルタリングアルゴリズムにより、すべての試験期間中に継続的なセンサ機能が確認され、センサ障害は検出されなかった。
• 運動ブラー、鏡面反射、低テクスチャ条件下でも、システムは正確なトラッキングと再構築を維持した。
• フレーム対モデルの統合とモデル対モデルのループクロージャの組み合わせにより、非剛性環境における漂移補正が効果的に実現された。