[論文レビュー] Gaussian Splatting SLAM

Hidenobu Matsuki, Riku Murai+2 more|arXiv (Cornell University)|Dec 11, 2023

Advanced Vision and Imaging被引用数 8

ひとこと要約

この論文は、3D Gaussian Splattingを唯一の表現として用いる初のオンラインSLAMシステムを提示し、モノキュラー/RGB-Dデータでリアルタイム追跡、ロバストなマッピング、フォトリアリスティックなノベルビューレンダリングを実現します。

ABSTRACT

We present the first application of 3D Gaussian Splatting in monocular SLAM, the most fundamental but the hardest setup for Visual SLAM. Our method, which runs live at 3fps, utilises Gaussians as the only 3D representation, unifying the required representation for accurate, efficient tracking, mapping, and high-quality rendering. Designed for challenging monocular settings, our approach is seamlessly extendable to RGB-D SLAM when an external depth sensor is available. Several innovations are required to continuously reconstruct 3D scenes with high fidelity from a live camera. First, to move beyond the original 3DGS algorithm, which requires accurate poses from an offline Structure from Motion (SfM) system, we formulate camera tracking for 3DGS using direct optimisation against the 3D Gaussians, and show that this enables fast and robust tracking with a wide basin of convergence. Second, by utilising the explicit nature of the Gaussians, we introduce geometric verification and regularisation to handle the ambiguities occurring in incremental 3D dense reconstruction. Finally, we introduce a full SLAM system which not only achieves state-of-the-art results in novel view synthesis and trajectory estimation but also reconstruction of tiny and even transparent objects.

研究の動機と目的

• 追跡、マッピング、レンダリングのための統一かつ密な3D表現によるオンライン再構成の動機付け。
• オフライン姿勢を前提としないリアルタイムSLAMに適した微分可能なGaussianベース表現（3DGS）の導入。
• 3DGSフレームワーク内で解析的なカメラ姿勢最適化と几何学的規則化を可能にする。
• 一貫性がありスケーラブルな地図を維持するためのキーフレーム管理とGaussian挿入/剪定戦略の開発。
• モノキュラーおよびRGB-Dデータセット全体で最先端の軌跡推定と高忠実度ノベルビュー合成を実証。

提案手法

• シーンをカラーと不透明度を含む多くの異方性3Dガウスで表現する。
• 潜在的な最適化のための勾配流を可能にするため、レイマーチングではなく微分可能なGaussianスパッティング（ラスタリゼーション）で画像をレンダリングする。
• 3DGAUSSIANマップに対するSE(3)カメラ姿勢の解析的ヤコビアンを導出し、姿勢最適化を可能にする。
• 幾何学的一貫性を維持しアーティファクトを防ぐためにガウス形状の等方性正則化を導入する。
• 共視、深度手掛かり、および複数フレームの整合性に基づくGaussian挿入と剪定を実装する。
• 追跡とマッピング中に撮像光度と幾何残差を混合してカメラ姿勢とGaussianパラメータを最適化する。

実験結果

リサーチクエスチョン

• RQ1 3D Gaussian Splattingを単一の3D表現として用いる完全なSLAMシステムを構築できるか？
• RQ2 リアルタイムで微分可能なGaussianマップに対してカメラ姿勢を直接最適化できるか？
• RQ3 incremental 3DGS再構成において幾何学的忠実性を維持するために必要な正則化と地図管理戦略は何か？
• RQ4 3DGSベースのSLAMはモノキュラーおよびRGB-Dデータで追跡精度とノベルビューレンダリング品質の面でどうなるか？
• RQ5 GaussianベースのSLAMは他のレンダリングベースまたはニューラル表現と比べて収束特性とメモリ使用量はどうか？

主な発見

• 提案手法は3Dガウスを唯一の表現としてほぼリアルタイムSLAM（3fps）を達成する。
• 3DGSマップに対する解析的SE(3)カメラ姿勢ヤコビアンにより効率的な直接最適化を実現。
• 等方性ガウス正則化は幾何学的一貫性を改善し increment映像時のアーティファクトを低減。
• モノキュラーおよびRGB-Dデータセットで関連ベースラインと比較して軌跡推定とレンダリング品質が最先端。
• Gaussianスパッティングによるノベルビュー合成は高いFPSで実行され、透明物質を含む難しいマテリアルも含め、詳細かつフォトリアリスティックなビューを安定してレンダリングする。
• GaussianベースのSLAMはカメラ姿勢の収束領域が広く、頑健な局所化を促進する。