[論文レビュー] NeRF-SLAM: Real-Time Dense Monocular SLAM with Neural Radiance Fields

Antoni Rosinol, John J. Leonard+1 more|arXiv (Cornell University)|Oct 24, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

NeRF-SLAMは、密な単眼SLAMシステムから得られる深度マップと不確実性推定値を活用して、リアルタイムで階層的ボリュームメトリックニューラルレイトランスフィールド（NeRF）をオンザフライで学習する、リアルタイムで単眼のSLAMパイプラインを提案する。深度予測値をそのマージナル共分散で重み付けすることにより、最先端の光度的および幾何的正確性を達成し、競合手法と比較してPSNRが最大179%向上、L1深度誤差が86%低減する。標準的なGPUハードウェアで10–12 FPSで動作する。

ABSTRACT

We propose a novel geometric and photometric 3D mapping pipeline for accurate and real-time scene reconstruction from monocular images. To achieve this, we leverage recent advances in dense monocular SLAM and real-time hierarchical volumetric neural radiance fields. Our insight is that dense monocular SLAM provides the right information to fit a neural radiance field of the scene in real-time, by providing accurate pose estimates and depth-maps with associated uncertainty. With our proposed uncertainty-based depth loss, we achieve not only good photometric accuracy, but also great geometric accuracy. In fact, our proposed pipeline achieves better geometric and photometric accuracy than competing approaches (up to 179% better PSNR and 86% better L1 depth), while working in real-time and using only monocular images.

研究の動機と目的

• 単眼RGB動画から明示的な深度測定がない状態で、リアルタイムかつ正確な3次元シーン再構築の課題に対処すること。
• 真値のポーズを必要とし、ゴーストジオメトリーや収束が遅いという課題を抱える従来のNeRFの限界を克服すること。
• 密な単眼SLAMと階層的ボリュームメトリックNeRFを統合し、単眼入力のみでリアルタイムでメトリック的に正確な3次元マッピングを可能にすること。
• NeRF最適化中に不確実性に配慮した深度監視を活用することで、幾何的および光度的正確性を向上させること。
• 不確実性重み付き深度事前知識が、ノイズが多いまたは不正確な深度推定値でさえもNeRFの収束性と耐性を著しく向上させることを実証すること。

提案手法

• リアルタイムでカメラポーズと密な深度マップに加えて、そのマージナル共分散（不確実性）推定値を含む、密な単眼SLAMシステムを活用する。
• NeRF最適化中に、深度予測値をその不確実性で重み付けする新しい不確実性ベースの深度損失を適用し、バイアスを低減し収束性を向上させる。
• SLAMの出力を監視として用いて、ハッシュベースの階層的ボリュームメトリックニューラルレイトランスフィールドを学習し、RGB画像ストリーム上でリアルタイム推論を可能にする。
• トラッキングとマッピングのスレッドを並列化し、トラッキングスレッドは約15 FPS、マッピングスレッドは約10 FPSで動作させ、全体で10 FPSのリアルタイム性能を達成する。
• 相関ボリューム計算とボリュームレンダリングの高速化のため、カスタムCUDAカーネルを実装し、メモリと計算のボトル neck を軽減する。
• 精度と計算負荷のバランスを取るために、光-flowの大きさ（2.5ピクセル以上）に基づくキーフレーム選択戦略を採用する。

Figure 1 : From left to right, input RGB image, estimated depth uncertainty, back-projected depth-maps into a pointcloud, after thresholding the depth by its uncertainty ( $\sigma_{d}\leq 1.0$ ) for visualization, and our resulting neural radiance field, rendered from the same viewpoint as the input

実験結果

リサーチクエスチョン

• RQ1 密な単眼SLAMは、真値のポーズや深度がなくても、リアルタイムかつ正確なNeRF再構築に十分な幾何的および光度的事前知識を提供できるか？
• RQ2 不確実性重み付き深度監視は、重みなしまたは無深度監視と比較して、ニューラルレイトランスフィールドの収束性と正確性をどのように向上させるか？
• RQ3 単眼SLAMの出力から学習されたNeRFは、既存の単眼再構築手法と比較して、どれほど優れた光度的および幾何的正確性を達成できるか？
• RQ4 ノイズが多いまたは不確実な深度推定値がNeRF最適化に与える影響は何か？また、不確実性重み付けはその影響を緩和できるか？
• RQ5 RGB-Dやステレオセンサーを用いずに、単眼RGB入力のみでリアルタイムNeRF再構築が可能か？

主な発見

• NeRF-SLAMは、Replicaデータセットにおいて、競合する単眼手法と比較して最大179%高いPSNRを達成し、優れた光度的正確性を示している。
• 本手法は、最先端の単眼手法と比較してL1深度誤差を86%低減し、幾何的正確性の顕著な向上を示している。
• 不確実性重み付き深度事前知識を用いることで、重みなし深度と比較してNeRFの収束がより速く、より耐性があり、PSNRの低下と深度バイアスが減少する。
• 標準的なGPUハードウェア（640×480解像度）で10–12 FPSで動作し、並列化されたトラッキングとマッピングスレッドによりリアルタイム性能を達成している。
• ノイズの多いポーズや深度推定値であっても、深度のマージナル共分散で重み付けすることで、高い正確性を維持し、重みなし深度や無深度ベースラインを上回る性能を発揮している。
• 真値のポーズや深度を必要とせず、SLAMシステムの不確実性に配慮した出力のみに依存して監視を行うことで、強力な性能を達成している。

Figure 2 : The input to our pipeline consists of sequential monocular images (here represented as Img 1 & Img 2). Starting from the top-right, our architecture fits a NeRF using Instant-NGP [ 17 ] , which we supervise using RGB images $\mathbf{I}$ , depths $\mathbf{D}$ , where the depths are weighte