[論文レビュー] Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting

Vladimir Yugay, Yue Li+2 more|arXiv (Cornell University)|Dec 6, 2023

Robotics and Sensor-Based Localization被引用数 18

ひとこと要約

Gaussian-SLAM は、3D Gaussian splats を用いたシーン表現で密な RGBD SLAM システムを導入し、オンラインのサブマップ管理とジオメトリのエンコードを備え、対話的な速度でフォトリアリスティックなレンダリングを実現します。実世界データにおいて最先端のレンダリング品質と競争力のある再構成を提供します。

ABSTRACT

We present a dense simultaneous localization and mapping (SLAM) method that uses 3D Gaussians as a scene representation. Our approach enables interactive-time reconstruction and photo-realistic rendering from real-world single-camera RGBD videos. To this end, we propose a novel effective strategy for seeding new Gaussians for newly explored areas and their effective online optimization that is independent of the scene size and thus scalable to larger scenes. This is achieved by organizing the scene into sub-maps which are independently optimized and do not need to be kept in memory. We further accomplish frame-to-model camera tracking by minimizing photometric and geometric losses between the input and rendered frames. The Gaussian representation allows for high-quality photo-realistic real-time rendering of real-world scenes. Evaluation on synthetic and real-world datasets demonstrates competitive or superior performance in mapping, tracking, and rendering compared to existing neural dense SLAM methods.

研究の動機と目的

• 高忠実度なレンダリングを実現するために、Gaussian splatting のシーン表現を用いた密な SLAM を動機づける。
• オフラインのマルチビューからオンラインのモノ眼 RGBD SLAM への Gaussian splatting の拡張。
• 単眼セットアップにおける三次元再構成を改善するため、Gaussian splats 内にジオメトリをエンコードする。
• 対話的な性能を維持するためのオンラインサブマップのシーディングと最適化戦略を開発する。
• Gaussian シーン表現を用いたフレーム-to-model トラッキングを調査し、フレーム-to-frame トラッキングと比較する。

提案手法

• 平均、スケール、回転、不透明度、球面調和関数をパラメータとする 3D Gaussian の集合でシーンを表現する。
• 入力シーケンスをサブマップに分割してオンライン学習を可能にし、破局的忘却を防ぐ。深度損失とカラー損失を用いてアクティブなサブマップを最適化する。
• キーフレームの密な点群から新しい Gaussian をシードし、ジオメトリを初期化するために視線方向の表面の背後に固定する。
• カラーと深度の損失として L1 と SSIM を組み合わせたカラー損失と深度の L1 損失を用いた微分可能ラスタライザでレンダリングし、スケール爆発を防ぐ正則化項を追加する。
• RGBDオドメトリで姿勢を初期化し、フレーム-to-model の再レンダリング損失を洗練させてトラッキングを行い、Gaussian splats の外挿制限に留意する。

実験結果

リサーチクエスチョン

• RQ1 RGBD 入力を伴うオンライン monocular SLAM に対して、Gaussian splats を効果的にジオメトリをエンコードするよう拡張できるか？
• RQ2 破局的忘却を起こさずに対話的な性能を維持するために、オンラインサブマップのシーディングと最適化をどのように設計できるか？
• RQ3 密集SLAMにおける Gaussian splats を用いたフレーム-to-model トラッキングとフレーム-to-frame トラッキングの影響はどのようか？
• RQ4 Gaussian splats がジオメトリの精度と外挿に課す制限は何か、SLAM でこれを緩和できるか？

主な発見

Method	PSNR↑	SSIM↑	LPIPS↓
NICE-SLAM	17.54	0.621	0.548
Vox-Fusion	18.17	0.673	0.504
ESLAM	15.29	0.658	0.488
Point-SLAM	19.82	0.751	0.514
Gaussian-SLAM (ours)	37.45	0.984	0.068

• Gaussian-SLAM は ScanNet で最先端のレンダリング品質を達成し、密なニューラル SLAM 手法と同等の再構成性能を示す。
• ScanNet で、Gaussian-SLAM は PSNR 37.45、SSIM 0.984、LPIPS 0.068 を達成し、レンダリング指標で NICE-SLAM、Vox-Fusion、ESLAM、Point-SLAM を上回る。
• TUM-RGBD でも Gaussian-SLAM は強力なレンダリング指標を再度示し、競合手法と比べて顕著な改善を示す（Table 2 の結果）。
• サブマップベースのオンラインシーディングと最適化により、深度センサから得られたジオメトリを保持しつつ、対話的な再構成時間を可能にする。
• Gaussian splats を用いたトラッキングは外挿のため、フレーム-to-model トラッキングに制限を示す；オラクル実験は、より良い深度レンダリングによる潜在的な改善を示唆する。