[論文レビュー] How NeRFs and 3D Gaussian Splatting are Reshaping SLAM: a Survey

Fabio Tosi, Youmin Zhang+5 more|arXiv (Cornell University)|Feb 20, 2024

Robotics and Sensor-Based Localization被引用数 16

ひとこと要約

この調査は放射照度場に触発された手法を通じたSLAMの進展をレビューし、Neural Radiance Fields (NeRF) と 3D Gaussian Splatting (3DGS) に焦点を当て、80件の最近のシステムをカタログ化して長所・制限・将来の課題を整理する。

ABSTRACT

Over the past two decades, research in the field of Simultaneous Localization and Mapping (SLAM) has undergone a significant evolution, highlighting its critical role in enabling autonomous exploration of unknown environments. This evolution ranges from hand-crafted methods, through the era of deep learning, to more recent developments focused on Neural Radiance Fields (NeRFs) and 3D Gaussian Splatting (3DGS) representations. Recognizing the growing body of research and the absence of a comprehensive survey on the topic, this paper aims to provide the first comprehensive overview of SLAM progress through the lens of the latest advancements in radiance fields. It sheds light on the background, evolutionary path, inherent strengths and limitations, and serves as a fundamental reference to highlight the dynamic progress and specific challenges.

研究の動機と目的

• 放射照度場表現（NeRF と 3DGS）によって推進される最新のSLAMの進展を調査する。
• 過去3年間に公開された80件のSLAMシステムを分類・分析する。
• 放射照度場ベースのSLAMにおける長所、制限、将来の研究方向を特定する。
• この進化する分野の研究者と実務家を導く参考フレームワークを提供する。

提案手法

• 放射照度場理論と表現（暗黙的、明示的、ハイブリッド）を説明する。
• NeRFと3DGSの基礎と、それらがSLAMに適用される方法を説明する。
• 放射照度場SLAM評価で用いられるデータセットとベンチマークをレビューする。
• NeRF/3DGSインスパイアードSLAM手法の分類法を提供し、設計選択（追跡 vs マッピング、サブマップ、ダイナミクス、事前情報）を比較する。
• マッピング、追跡、ビュー合成、セマンティクスにわたる評価指標を要約する。

実験結果

リサーチクエスチョン

• RQ1 SLAMを可能にする主要な放射照度場表現（暗黙のNeRF、明示的グリッド、3D Gaussian splats）とは何か、そしてそれらはどのように比較されるか。
• RQ2 NeRFsと3D Gaussian SplattingはSLAMパイプラインにどのように統合されてきたか（フレーム間 vs フレーム対モデル）と、その結果生じるトレードオフは何か。
• RQ3 これらの放射照度場ベースSLAMシステムを評価する際に使用されるデータセット、ベンチマーク、および指標は何か。
• RQ4 NeRF/3DGS推進のSLAMにおける現在の制限と未解決の課題、提案されている将来の方向は何か。
• RQ5 動的環境、スケーラビリティ、リアルタイム要件の下でこれらのアプローチはどのように性能を発揮するか。

主な発見

• 放射照度場ベースのSLAMは連続的な表面モデリングと、より密でコンパクトなマップの可能性を提供する。
• NeRFと3DGSは、それぞれ異なるレンダリングとジオメトリ表現を提供し、速度・メモリ・空間の空白の扱いに異なるトレードオフがある。
• 本調査は最近公開された80件のSLAMシステムをカバーし、急速な進展と多様な設計戦略（サブマップ、ダイナミクスの処理、 priors）を強調する。
• 評価は、マッピング精度、追跡精度（ATE）、ビュー合成品質（PSNR、SSIM、LPIPS）など標準的なSLAM指標に依存する。
• 2021–2024年に放射照度場に触発されたSLAMへの明確な移行が見られ、データセット、ベンチマーク、コードなどのツール利用が増加している。
• 本調査は、NeRF/3DGS推進のSLAM手法を整理する体系的分類法を提示し、実用的な制限と研究ギャップを指摘している。