[論文レビュー] FMapping: Factorized Efficient Neural Field Mapping for Real-Time Dense RGB SLAM

Tongyan Hua, Haotian Bai+2 more|arXiv (Cornell University)|Jun 1, 2023

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

FMappingは、深度センサーを用いずに、マッピングの不確実性を低減し、効率を向上させるリアルタイムな高密度RGB SLAMのための要因分解されたニューラルフィールドマッピングフレームワークを提案する。シーン表現を低次元の潜在空間に分解し、滑らかで時間的に整合性のあるフレームを用いたスライディングウィンドウサンプラーを採用することで、iMAPの20倍少ないパラメータ、NICE-SLAMの1000倍少ないパラメータで、PyTorchのみを用いて20フレームあたり約2秒の速度で、高精度なカラーポイントクラウド再構成を実現する。

ABSTRACT

In this paper, we introduce FMapping, an efficient neural field mapping framework that facilitates the continuous estimation of a colorized point cloud map in real-time dense RGB SLAM. To achieve this challenging goal without depth, a hurdle is how to improve efficiency and reduce the mapping uncertainty of the RGB SLAM system. To this end, we first build up a theoretical analysis by decomposing the SLAM system into tracking and mapping parts, and the mapping uncertainty is explicitly defined within the frame of neural representations. Based on the analysis, we then propose an effective factorization scheme for scene representation and introduce a sliding window strategy to reduce the uncertainty for scene reconstruction. Specifically, we leverage the factorized neural field to decompose uncertainty into a lower-dimensional space, which enhances robustness to noise and improves training efficiency. We then propose the sliding window sampler to reduce uncertainty by incorporating coherent geometric cues from observed frames during map initialization to enhance convergence. Our factorized neural mapping approach enjoys some advantages, such as low memory consumption, more efficient computation, and fast convergence during map initialization. Experiments on two benchmark datasets show that our method can update the map of high-fidelity colorized point clouds around 2 seconds in real time while requiring no customized CUDA kernels. Additionally, it utilizes x20 fewer parameters than the most concise neural implicit mapping of prior methods for SLAM, e.g., iMAP [ 31] and around x1000 fewer parameters than the state-of-the-art approach, e.g., NICE-SLAM [ 42]. For more details, please refer to our project homepage: https://vlis2022.github.io/fmap/.

研究の動機と目的

• 深度センサーを搭載しないリアルタイムな高密度RGB SLAMの課題に対処すること。特に、マッピングの不確実性と計算コストが主な障壁である。
• 特にリソース制限のある環境において、ニューラルインパルシットマッピングにおけるメモリと計算のオーバーヘッドを低減すること。
• 複数フレームからの一貫性のある幾何的ヒントを活用することで、マップ初期化時のロバスト性と収束性を向上させること。
• ニューラル表現ベースのSLAMにおけるマッピング不確実性の理論的フレームワークを構築し、その分解を可能とすること。
• 深度監督なしにRGB入力のみを用いて、リアルタイムで高精度で連続的なカラーポイントクラウド再構成を達成すること。

提案手法

• 本手法は、シーンの不確実性を低次元の潜在空間に分解する要因分解されたニューラルフィールド表現を導入し、ノイズに強い性能と訓練効率の向上を実現する。
• マップ初期化時に時間的に整合性のあるフレームからの幾何的ヒントを統合するため、スライディングウィンドウサンプラーを提案し、収束性の向上と不確実性の低減を図る。
• フレームワークは、段階的なRGB観測から学習された潜在特徴に条件づけられた事後確率を最大化する形でマッピングを定式化する。
• 要因分解表現により、NICE-SLAMと比較して最大1000倍、iMAPと比較して20倍のパラメータ削減が達成され、効率的な推論が可能になる。
• カスタムCUDAカーネルを回避し、標準のPyTorchのみを用いてリアルタイムで動作させ、ベンチマークシーケンスで20フレームあたり2.01秒の処理時間を達成する。
• 本手法は完全なRGBオンリーモードで評価されており、深度監督なしに、ポーズとジオメトリ最適化に色の勾配のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 深度なしの高密度RGB SLAMにおけるマッピング不確実性は、どのようにニューラル表現フレームワーク内で理論的にモデル化され、分解可能か？
• RQ2 ニューラルフィールド表現におけるどの要因分解戦略が、再構成忠実度を損なわずにパラメータ数を削減し、訓練効率を向上させることができるか？
• RQ3 スライディングウィンドウサンプリング戦略は、マップ初期化段階での性能向上と不確実性低減にどのように寄与するか？
• RQ4 要因分解されたニューラルフィールドは、iMAP や NICE-SLAM といったSOTA手法と比較して、最小限のメモリと計算リソースでどの程度リアルタイム性能を達成できるか？
• RQ5 RGB入力のみで深度監督なしに、高精度で連続的なカラーポイントクラウド再構成をリアルタイムで達成できるか？

主な発見

• FMappingは20フレームあたり2.01秒の処理時間でリアルタイムマッピングを実現し、高精度なカラーポイントクラウドの連続再構成を可能にする。
• 本手法は0.01百万パラメータ（1万）を用い、iMAP(-)と比較して20倍、NICE-SLAMと比較して1000倍の削減を達成し、メモリフットプリントを顕著に低減する。
• Replicaデータセット全体で平均79.8%のコンプリートレートを達成し、iMAP(-)と比較してほぼ2倍のコンプリートレートを達成し、再構成忠実度に優れる。
• 1つの3Dポイントあたりの計算コストは80.64×10³ FLOPsであり、iMAPの1/5にまで低減され、優れた計算効率を示す。
• カスタムCUDAカーネルを一切使用せず、標準のPyTorchのみでリアルタイム推論を実現しており、DIM-SLAMが特化した加速を必要とするのとは対照的である。
• 定性的な評価において、FMappingはSLAMプロセス全体にわたり一貫して完全で正確な再構成を生成するが、iMAP(-)は長時間のシーケンスでジオメトリの再構成に失敗する。