[論文レビュー] SD-DefSLAM: Semi-Direct Monocular SLAM for Deformable and Intracorporeal Scenes

Juan J. Gómez Rodríguez, José Lamarca+3 more|arXiv (Cornell University)|Oct 19, 2020

Robotics and Sensor-Based Localization参考文献 30被引用数 4

ひとこと要約

SD-DefSLAM は、露出変動に強い光度追跡と CNN を用いた手術用器具のセグメンテーション、Bag-of-Words リロケーションを組み合わせた半直接的モノラル SLAM システムであり、極めて変形しやすく、体内に位置する環境を対象として設計されている。DefSLAM よりも顕著にスケールドリフトを低減し、再構築精度を向上させ、極度の変形と低テクスチャ条件下でも人体内での SLAM を安定して実行できる最初のシステムである。

ABSTRACT

Conventional SLAM techniques strongly rely on scene rigidity to solve data association, ignoring dynamic parts of the scene. In this work we present Semi-Direct DefSLAM (SD-DefSLAM), a novel monocular deformable SLAM method able to map highly deforming environments, built on top of DefSLAM. To robustly solve data association in challenging deforming scenes, SD-DefSLAM combines direct and indirect methods: an enhanced illumination-invariant Lucas-Kanade tracker for data association, geometric Bundle Adjustment for pose and deformable map estimation, and bag-of-words based on feature descriptors for camera relocation. Dynamic objects are detected and segmented-out using a CNN trained for the specific application domain. We thoroughly evaluate our system in two public datasets. The mandala dataset is a SLAM benchmark with increasingly aggressive deformations. The Hamlyn dataset contains intracorporeal sequences that pose serious real-life challenges beyond deformation like weak texture, specular reflections, surgical tools and occlusions. Our results show that SD-DefSLAM outperforms DefSLAM in point tracking, reconstruction accuracy and scale drift thanks to the improvement in all the data association steps, being the first system able to robustly perform SLAM inside the human body.

研究の動機と目的

• ミニ invasive surgery に見られるような極めて変形しやすく、体内に位置する環境における従来の SLAM の限界を解消すること。
• SLAM における剛体仮定を克服し、等長変形下でも正確なデータ関連付けと 3D マップ推定を可能にすること。
• 内視鏡画像に一般的に見られる低テクスチャ、鏡面反射、オクルージョン、動的な手術用器具に対する耐性を向上させること。
• リロケーションと動的オブジェクトセグメンテーションを統合し、トラッキング失敗に対処し、長期的な一貫性を維持すること。
• 直接的光度最適化と間接的特徴ベース追跡を組み合わせた半直接的手法を採用し、データ関連付けの性能を向上させること。

提案手法

• 全特徴点に対して露出変動に強い Lucas-Kanade 光学フローを用いてサブピクセル精度の光度的データ関連付けを実現し、グローバルな画像アライメントに代わる。
• 幾何的 Bundle Adjustment を適用し、カメラポーズと変形可能な 3D マップを同時に最適化することで、再投影誤差と光度誤差を最小化する。
• 長期的なデータ関連付けと Bag-of-Words リロケーションのため ORB 特徴点を用い、完全なカメラオクルージョンからの回復を可能にする。
• 手術用器具セグメンテーションに訓練された CNN を統合し、動的オブジェクトをマスクすることでマップ汚染を防止する。
• フレーム間での特徴パッチのアクティブなトラッキングを実装し、マッチング段階における特徴抽出依存性を排除する。
• 3D マップにおける等長変形を仮定し、時間変動するランドマーク位置を滑らかで非剛体な変換としてモデル化する。

実験結果

リサーチクエスチョン

• RQ1 半直接的 SLAM システムは、剛体 SLAM が失敗するような極めて変形しやすく、テクスチャが乏しい体内シーンでも、堅牢なデータ関連付けを達成できるか？
• RQ2 特徴点ごとの露出変動に強い光度的追跡は、従来の特徴マッチングと比較して、変形下における追跡精度と耐性においてどのように優れているか？
• RQ3 手術用器具のセグメンテーションに CNN を用いることで、動的オブジェクトが多数存在する内視鏡シーケンスにおける SLAM の性能はどの程度向上するか？
• RQ4 Bag-of-Words と ORB 述語を用いたリロケーションは、リアルタイムの内視鏡シーケンスにおいて完全なオクルージョン後にもトラッキングを回復できるか？
• RQ5 直接的光度最適化と間接的特徴追跡を組み合わせることで、非剛体環境下におけるスケールドリフトを低減し、再構築精度を向上させられるか？

主な発見

• Mandala および Hamlyn データセットの全シーケンスにおいて、SD-DefSLAM は DefSLAM より顕著に低いスケールドリフトとより良い RMSE を達成した。
• Mandala3 シーケンスでは、SD-DefSLAM はマップポイントの正しく一致した割合を DefSLAM と比較して倍増させ、データ関連付けの堅牢性が向上した。
• 低テクスチャとぼやけが特徴の Hamlyn Dataset20 において、SD-DefSLAM はサブピクセル精度の光度的追跡のおかげで優れた性能を維持した。
• Sequence_heart および Sequence_organs における CNN を用いた器具セグメンテーションの統合により、高動的オブジェクト干渉下のシーケンス処理が堅牢に可能になった。
• Dataset19 および Dataset20 における完全なオクルージョンや内視鏡の取り外し後でも、システムは正常にリロケーションを実行した。
• 3D 再構築では、手術用器具が引き起こす変形が正確にモデル化されており、フレーム #315、#1010、#1030、#1055 を含む Sequence_organs でその様子が可視化された。