[論文レビュー] Photo-SLAM: Real-time Simultaneous Localization and Photorealistic Mapping for Monocular, Stereo, and RGB-D Cameras

Huajian Huang, Longwei Li+2 more|arXiv (Cornell University)|Nov 28, 2023

Robotics and Sensor-Based Localization被引用数 5

ひとこと要約

Photo-SLAM は、明示的な幾何的特徴（ORB、SH係数）と暗黙的ニューラルレンダリングを統合したハイパープリミティブマップを導入し、モノクローラル、ステレオ、RGB-Dカメラにおけるリアルタイムで写真実現的なSLAMを実現する。3Dガウススプラッティングと新規のガウスピラミッドベースの学習法を用いることで、PSNR でSOTA性能を達成するとともに、1000 FPS のレンダリング速度を実現し、Jetson AGX Orin などの組み込みプラットフォームでもリアルタイムで動作する。

ABSTRACT

The integration of neural rendering and the SLAM system recently showed promising results in joint localization and photorealistic view reconstruction. However, existing methods, fully relying on implicit representations, are so resource-hungry that they cannot run on portable devices, which deviates from the original intention of SLAM. In this paper, we present Photo-SLAM, a novel SLAM framework with a hyper primitives map. Specifically, we simultaneously exploit explicit geometric features for localization and learn implicit photometric features to represent the texture information of the observed environment. In addition to actively densifying hyper primitives based on geometric features, we further introduce a Gaussian-Pyramid-based training method to progressively learn multi-level features, enhancing photorealistic mapping performance. The extensive experiments with monocular, stereo, and RGB-D datasets prove that our proposed system Photo-SLAM significantly outperforms current state-of-the-art SLAM systems for online photorealistic mapping, e.g., PSNR is 30% higher and rendering speed is hundreds of times faster in the Replica dataset. Moreover, the Photo-SLAM can run at real-time speed using an embedded platform such as Jetson AGX Orin, showing the potential of robotics applications.

研究の動機と目的

• 暗黙的表現とニューラルソルバーに強く依存する既存のニューラルSLAMシステムの高い計算コストと低い展開可能性を解決する。
• リソース制限のあるポータブルおよび組み込みプラットフォームでのリアルタイムで写真実現的なマッピングとローカライゼーションを可能にする。
• 暗黙的表現のみに依存する制限を克服するため、明示的な幾何的特徴と学習された光度特徴を統合する。
• スケーラブルで効率的かつ高精度なマッピングシステムを構築し、未知環境におけるインクリメンタルでオンラインな再構築をサポートする。
• 特にモノクローラル状況において、密度の高い深度監督に依存せずに、高いレンダリング速度と品質を達成する。

提案手法

• ORB特徴、回転、スケール、密度、および球面調和（SH）係数を格納する3Dポイントから成るハイパープリミティブマップを維持し、光度表現に用いる。
• レイトレーシングの代わりに、高速で微分可能である3Dガウススプラッティングを用いてレンダリングすることで、再構築コストを低減し、リアルタイム性能を実現する。
• 2D幾何的特徴（例：ORBコーナー）に基づいて、積極的にハイパープリミティブを追加する幾何ベースの密度化戦略を導入し、ローカライゼーション精度とマップカバレッジを向上させる。
• スケールごとのマルチレベル特徴を段階的に学習するガウスピラミッドベース（GP）学習法を提案し、テクスチャの詳細とマッピングの忠実度を向上させる。
• ローカライゼーションには要因グラフソルバーを、写真実現的マッピングには微分可能レンダリング損失を用いてバックプロパゲーションによる最適化を実施する。
• C++およびCUDAを用いてシステム全体を実装し、Jetson AGX Orin などの組み込みプラットフォームでも高性能な実行を実現する。

実験結果

リサーチクエスチョン

• RQ1 ハイパープリミティブを用いた明示的・暗黙的表現のハイブリッド化は、高価なニューラルソルバーや暗黙的表現のみの学習に依存せずに、リアルタイムで写真実現的なSLAMを可能にするか？
• RQ2 幾何ベースの密度化は、モノクローラルおよびスパース深度状況において、マップ品質とローカライゼーション精度をどのように向上させるか？
• RQ3 ガウスピラミッドベースの学習は、複数スケールにわたり、特徴表現とマッピング性能をどの程度向上させるか？
• RQ4 組み込みハードウェア上で、忠実度やスケーラビリティを損なわずに、高いPSNRとリアルタイムレンダリング（例：1000 FPS以上）を達成できるか？
• RQ5 ローカライゼーション精度、レンダリング速度、モデル効率の観点から、提案手法は最先端のニューラルSLAMシステムと比較してどの程度優れているか？

主な発見

• Photo-SLAM は、Replica RGB-D データセットでPSNR 34.958を達成し、先行SOTA手法比で30%の向上を示した。
• Replica データセット上では、最大1084 FPS でレンダリングが可能であり、前例に比べて数百倍の高速化を達成した。
• モノクローラル設定では、PSNR 33.302、911.3 FPS を達成し、幾何ベースの密度化やGP学習を欠如させたアブレーションモデルを著しく上回った。
• 3レベルのガウスピラミッドベースの学習法が、品質と効率の最良のバランスを実現したが、4レベルでは過学習が生じ、性能が低下した。
• システムはJetson AGX Orin の組み込みプラットフォームでもリアルタイムで動作し、ロボティクスアプリケーションへの実用可能性を示した。
• アブレーションスタディの結果、幾何ベースの密度化とGP学習の両方が不可欠であることが確認された。両方を欠如させると、PSNRが1.6ポイント以上低下し、レンダリング速度も低下した。