[論文レビュー] iDF-SLAM: End-to-End RGB-D SLAM with Neural Implicit Mapping and Deep Feature Tracking

Yuhang Ming, Weicai Ye+1 more|arXiv (Cornell University)|Sep 16, 2022

Robotics and Sensor-Based Localization被引用数 15

ひとこと要約

iDF-SLAMは、深層特徴ベースのニューラルトラッカーとNeRF風のニューラルインクリメントマッパーを組み合わせたエンドツーエンドのRGB-D SLAMシステムを提案する。キーフレームでのみインクリメントマップを更新し、トラッカーとマップを同時に微調整することで、自己教師ありのオンライン学習において、真値のポーズがなくても最先端の再構成品質と競争力のあるトラッキング性能を達成する。

ABSTRACT

We propose a novel end-to-end RGB-D SLAM, iDF-SLAM, which adopts a feature-based deep neural tracker as the front-end and a NeRF-style neural implicit mapper as the back-end. The neural implicit mapper is trained on-the-fly, while though the neural tracker is pretrained on the ScanNet dataset, it is also finetuned along with the training of the neural implicit mapper. Under such a design, our iDF-SLAM is capable of learning to use scene-specific features for camera tracking, thus enabling lifelong learning of the SLAM system. Both the training for the tracker and the mapper are self-supervised without introducing ground truth poses. We test the performance of our iDF-SLAM on the Replica and ScanNet datasets and compare the results to the two recent NeRF-based neural SLAM systems. The proposed iDF-SLAM demonstrates state-of-the-art results in terms of scene reconstruction and competitive performance in camera tracking.

研究の動機と目的

• 濃密SLAMシステムの高いVRAMと計算コストを、ニューラルインクリメントマップ表現を用いることで低減すること。
• キーフレームのみでのマップ更新により、NeRFベースのSLAMにおける1フレームごとの最適化を削減し、実行効率を向上させること。
• 運用中にシーン固有の特徴に対して事前学習済みのニューラルトラッカーを微調整することで、SLAMにおける継続的学習を可能にすること。
• トラッキングおよびマッピングの両コンponentに対して真値のポーズがなくても自己教師ありの訓練を可能にすること。
• ボリューム密度や占有状態の表現ではなく、直接に切り捨てられた符号付き距離関数（T-SDF）を回帰することで再構成精度を向上させること。

提案手法

• リアルタイムなカメラポーズ推定のため、事前学習済みで微調整可能な特徴ベースのニューラルトラッカーを採用し、従来の特徴マッチングを置き換える。
• 3次元クエリポイントにおけるシーンを切り捨てられた符号付き距離関数（T-SDF）として、1つのMLPで暗黙的に表現する。
• 新しいキーフレームが選択された場合にのみニューラルインクリメントマップを更新することで、1フレームごとの最適化と比較して計算負荷を低減する。
• 共同最適化を実行する：まず、現在のマップに関してカメラポーズを最適化し、次にキーフレームと最適化済みポーズを用いてMLPの重みを更新する。
• モノクローラルおよび深度画像のシーケンスのみを用いて、真値のポーズがなくてもトラッカーとマッパーの両方を自己教師ありで訓練する。
• 最初のフレームからの特徴をMLPに初期化し、オンライン運用中にキーフレームデータを用いて段階的に改善する。

実験結果

リサーチクエスチョン

• RQ1 SLAM運用中に特徴ベースの深層ニューラルトラッカーを効果的に微調整することで、新しい環境におけるトラッキングのロバスト性が向上するか？
• RQ2 T-SDFをニューラルインクリメントマップ表現として用いることで、ボリューム密度や占有状態に基づく表現と比較して再構成精度が向上するか？
• RQ3 キーフレームのみでのマップ更新は、1フレームごとの最適化と比較して計算コストを著しく削減しながらも、高い再構成品質を維持できるか？
• RQ4 真値のポーズがなくても、自己教師ありでエンドツーエンドの訓練スキームが、トラッキング精度と再構成忠実度の両面でどの程度の性能を示すか？
• RQ5 マップ更新頻度が限られていることと、特徴ベースのトラッキングが、長時間にわたるドリフトおよび困難なシーケンスにおける性能に与える影響は何か？

主な発見

• iDF-SLAMはReplicaデータセットで最先端の再構成結果を達成し、iMAPおよびNICE-SLAMと比較して、完了度が2 cm向上し、完了率が10%増加した。
• ScanNetデータセットでは、競争力あるカメラトラッキング性能を示し、シーン0059および0106ではiMAPを上回り、NICE-SLAMと同等またはそれを上回った。
• Replicaでは平均ATE RMSEが0.015 m、ScanNetでは0.016 mを記録し、優れたトラッキング精度を示した。
• 優れた再構成性能を発揮する一方で、急速な運動を伴うシーケンス（例：ReplicaのRoom-1およびRoom-2）では、トラッカーの感受性とマップ更新の頻度が低いため、トラッキング性能が低下した。
• 長時間のシーケンスでは、特徴ベースのトラッカーと低いマップ更新頻度の影響により、長期的なドリフトが観察され、NICE-SLAMと比較してScanNetにおける性能が制限された。
• ボリューム密度や占有状態ではなくT-SDFを用いることで、特に複雑な幾何構造を有するシーンにおいて、より正確な表面予測が可能になった。