[論文レビュー] GlORIE-SLAM: Globally Optimized RGB-only Implicit Encoding Point Cloud SLAM

Gan‐Lin Zhang, Erik Sandström+4 more|arXiv (Cornell University)|Mar 28, 2024

3D Surveying and Cultural Heritage被引用数 6

ひとこと要約

GlORIE-SLAM はオンラインループクロージャとグローバルBAを備えた deformable neural point cloud を用いた RGB の密集SLAMシステムを提示。 monocular depth priors を pose-depth 最適化に統合する DSPO 層によって補強される。

ABSTRACT

Recent advancements in RGB-only dense Simultaneous Localization and Mapping (SLAM) have predominantly utilized grid-based neural implicit encodings and/or struggle to efficiently realize global map and pose consistency. To this end, we propose an efficient RGB-only dense SLAM system using a flexible neural point cloud scene representation that adapts to keyframe poses and depth updates, without needing costly backpropagation. Another critical challenge of RGB-only SLAM is the lack of geometric priors. To alleviate this issue, with the aid of a monocular depth estimator, we introduce a novel DSPO layer for bundle adjustment which optimizes the pose and depth of keyframes along with the scale of the monocular depth. Finally, our system benefits from loop closure and online global bundle adjustment and performs either better or competitive to existing dense neural RGB SLAM methods in tracking, mapping and rendering accuracy on the Replica, TUM-RGBD and ScanNet datasets. The source code is available at https://github.com/zhangganlin/GlOIRE-SLAM

研究の動機と目的

• RGB の高コストなバックプロパゲーションを用いずに、RGBのみの密集SLAMを動機づける。
• オンラインループクロージャとグローバルBAを可能にする、変形可能なニューラルポイントクラウドマップを提案する。
• DSPO (Disparity, Scale and Pose Optimization) を導入し、単眼深度 priors を BA に統合する。
• 単眼深度 priors を活用してスケール、深度精度、再構成品質を向上させる。
• 標準データセットで競争力のある、または優れたレンダリング、再構成、追跡性能を実証する。

提案手法

• 各点に幾何特徴とカラー特徴を持つ変形可能なニューラルポイントクラウドで場面を表現する。
• キーフレームに対して深度誘導サンプリングと深度対応の動的半径を用いて光線に沿ってニューラルポイントを追加する。
• 固定占有MLPと視線方向条件付けを用いたカラーMLPで、深度誘導ボリュームレンダリングにより深度と色をレンダリングする。
• 追跡はフレーム間光学フローと DBA ベースのローカル BA、および単眼深度 priors を用いて視差・スケール・姿勢を共同最適化する DSPO 層を用いる。
• プロキシ深度マップは、単眼深度 priors を多視点整合性と融合させてレンダリングとマッピングを安定化させて構築される。
• マッピング更新は、特徴を再訓練せずに洗練されたカメラ姿勢を反映するようニューラルポイントクラウドを変形させる。
• 因子グラフアプローチによるループクロージャとオンライングローバルBAを実装し、数値安定性のための正規化手順を設ける。
• DSPO の二段階最適化：まず DBA で幾何を精緻化し、次に単眼深度 priors に導かれたスケールとシフトとともに高エラーの視差を共同最適化する。
• トレーニング不要のマッピング：マップエンコーディングへバックプロパゲーションを行わずにグローバル姿勢の変化を反映する変形可能なポイントクラウドを維持する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルグリッド特徴にバックプロパゲーションを行わずに、RGB のみの SLAM システムがグローバルに一貫した地図と正確な追跡を達成できるか？
• RQ2 オンラインループクロージャとグローバルBAを備えた変形可能なニューラルポイントクラウドは、RGB のみのグリッドベース手法よりもレンダリングと再構成を向上させるか？
• RQ3 単眼深度 priors を DSPO 層に効果的に統合して、RGB のみの SLAM におけるスケールと深度を安定化させる方法は？
• RQ4 Replica、TUM-RGBD、ScanNet における経路精度と地図品質に対するオンラインループクロージャとグローバルBAの影響は？
• RQ5 提案手法は、 contemporaries の RGB および RGB-D 密集 SLAM のベースラインと比較して、レンダリング、再構成、追跡の性能はどうか？

主な発見

• 本手法は Replica/ScanNet において RGB ベースラインと比較してレンダリング精度（PSNR および SSIM）が高く、LPIPS スコアも競争力がある。
• GlORIE-SLAM は RGB 手法の中で最高または競争力のある ATE RMSE を達成し、追跡精度が高いことを示す。
• 変形可能なニューラルポイントクラウドは、ループクロージャとグローバルBA時にオンラインで地図を変形させ、地図全体の再作成を回避する。
• DSPO 層は単眼深度 priors を視差とスケールの精練と結合させることで深度と姿勢推定を改善する。
• ScanNet では GlORIE-SLAM が多くの RGB-D 手法をレンダリング指標で上回り、データセット間で堅牢な追跡精度を示す。