[論文レビュー] GO-SLAM: Global Optimization for Consistent 3D Instant Reconstruction

Youmin Zhang, Fabio Tosi+2 more|arXiv (Cornell University)|Sep 5, 2023

Advanced Vision and ImagingComputer Science被引用数 3

ひとこと要約

GO-SLAM は、オンラインループクロージィングとフルバndlエイジュストを用いて、カメラのポーズとニューラルインプリシット表面表現を同時に最適化することで、グローバルに一貫性のある3次元再構築を達成するリアルタイムでディープラーニングベースの高密度ビジュアルSLAMシステムを提案する。マルチスケールハッシュエンコーディングを活用し、即時の高周波数の3次元モデル更新を実現し、モノクローラル、ステレオ、RGB-D入力のすべてにおいて、トラッキングのロバスト性と再構築精度で最先端の手法を上回る。

ABSTRACT

Neural implicit representations have recently demonstrated compelling results on dense Simultaneous Localization And Mapping (SLAM) but suffer from the accumulation of errors in camera tracking and distortion in the reconstruction. Purposely, we present GO-SLAM, a deep-learning-based dense visual SLAM framework globally optimizing poses and 3D reconstruction in real-time. Robust pose estimation is at its core, supported by efficient loop closing and online full bundle adjustment, which optimize per frame by utilizing the learned global geometry of the complete history of input frames. Simultaneously, we update the implicit and continuous surface representation on-the-fly to ensure global consistency of 3D reconstruction. Results on various synthetic and real-world datasets demonstrate that GO-SLAM outperforms state-of-the-art approaches at tracking robustness and reconstruction accuracy. Furthermore, GO-SLAM is versatile and can run with monocular, stereo, and RGB-D input.

研究の動機と目的

• 長時間のトラジェクトリにおいて、ニューラルインプリシットSLAMシステムにおけるカメラドリフトと幾何的歪みの蓄積を解消すること。
• モノクローラル、ステレオ、またはRGB-D入力を用いてリアルタイムでグローバルに一貫性のある3次元再構築を実現すること。
• 効率的なループクロージィングとオンラインフルバndlエイジストを、ディープラーニングベースのSLAMパイプラインに統合し、継続的なポーズとジオメトリ最適化を可能にすること。
• グローバルに最適化されたポーズと同期してインプリシット表現を更新することで、高精細で連続的な表面再構築を維持すること。
• リアルタイム制約下で、トラッキング精度と3次元再構築品質の両面で最先端のパフォーマンスを達成すること。

提案手法

• GO-SLAM はマルチスケールハッシュエンコーディングを用いたニューラルインプリシット表現を採用し、コンパクトで高周波数の3次元モデル更新を可能にする。
• 入力フレームの完全な履歴を用いてすべてのキーフレームのポーズを精緻化するオンラインフルバndlエイジストを介して、リアルタイムでエンドツーエンドのグローバル最適化を実行する。
• 効率的なループクロージィングメカニズムにより、新たに観測されたシーンを以前にマップされた領域と一致させることで、トラジェクトリドリフトを検出し補正する。
• 各フレームごとのポーズと深度の変化を継続的にモニタリングし、キーフレーム選択をガイドすることで、グローバル一貫性を確保する最適な更新頻度を実現する。
• 光度的および幾何的忠実度を向上させるために、RGB、深度、SDF、Eikonalの損失関数を組み合わせてインプリシットネットワークを学習する。
• 本フレームワークはモノクローラル、ステレオ、RGB-D入力をサポートし、センサ構成に応じた多様な展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのSLAMシステムは、RGBまたはRGB-D入力のみを用いてリアルタイムでグローバルに一貫性のある3次元再構築を達成できるか？
• RQ2 オンラインフルバndlエイジストとループクロージィングは、ニューラルインプリシット表現を用いたモノクローラルSLAMにおけるカメラドリフト低減にどの程度効果的か？
• RQ3 継続的かつ高周波数の3次元モデル更新は、再構築精度と幾何的一貫性をどの程度向上させるか？
• RQ4 マルチスケールハッシュエンコーディングの統合は、ニューラルインプリシットSLAMの効率性と忠実度をどの程度向上させるか？
• RQ5 フレームスキップを実施しても、リアルタイム推論を達成するために、提案手法は高いパフォーマンスを維持できるか？

主な発見

• ScanNet データセットにおいて、GO-SLAM は平均ATE RMSE 7.02 cm を達成し、ループクロージィングとフルBAを適用したベースラインDROID-SLAM（11.59 cm）を顕著に上回った。
• フルループクロージィングとオンラインフルバndlエイジストを適用したGO-SLAMは、Replica データセットで平均Fスコア85.56を達成し、優れた再構築精度を示した。
• 8倍速でフレームをスキップ（7/8をスキップ）した場合でも、Fスコアは85.56から84.41にわずか1.15%低下に抑えられ、大規模な視点変化に対してもロバストであることが証明された。
• NVIDIA RTX 3090（GPUメモリ15.63 GB）上で10 FPSを維持し、高い精度とリアルタイム性能の両立を実現した。
• アブレーションスタディの結果、RGB、深度、SDF、Eikonal損失を併用した場合が最良のFスコア（85.56）を達成し、個別の損失構成を上回った。
• ループクロージィングのみで11.59 cmから8.83 cmへ23.8%のドリフト低減が達成され、フルバndlエイジストを適用することでさらに改善され、7.02 cmまで低下した。