[论文解读] FMapping: Factorized Efficient Neural Field Mapping for Real-Time Dense RGB SLAM

Tongyan Hua, Haotian Bai+2 more|arXiv (Cornell University)|Jun 1, 2023

Robotics and Sensor-Based Localization被引用 4

一句话总结

FMapping 提出了一种用于实时密集 RGB SLAM 的因子化神经场映射框架，无需深度传感器即可降低映射不确定性并提高效率。通过将场景表征分解为低维潜在空间，并使用滑动窗口采样器实现鲁棒初始化，该方法实现了高保真度、实时的彩色点云重建，参数量仅为 iMAP 的 1/20 和 NICE-SLAM 的 1/1000，仅使用 PyTorch 即可实现每 20 帧约 2 秒的推理速度。

ABSTRACT

In this paper, we introduce FMapping, an efficient neural field mapping framework that facilitates the continuous estimation of a colorized point cloud map in real-time dense RGB SLAM. To achieve this challenging goal without depth, a hurdle is how to improve efficiency and reduce the mapping uncertainty of the RGB SLAM system. To this end, we first build up a theoretical analysis by decomposing the SLAM system into tracking and mapping parts, and the mapping uncertainty is explicitly defined within the frame of neural representations. Based on the analysis, we then propose an effective factorization scheme for scene representation and introduce a sliding window strategy to reduce the uncertainty for scene reconstruction. Specifically, we leverage the factorized neural field to decompose uncertainty into a lower-dimensional space, which enhances robustness to noise and improves training efficiency. We then propose the sliding window sampler to reduce uncertainty by incorporating coherent geometric cues from observed frames during map initialization to enhance convergence. Our factorized neural mapping approach enjoys some advantages, such as low memory consumption, more efficient computation, and fast convergence during map initialization. Experiments on two benchmark datasets show that our method can update the map of high-fidelity colorized point clouds around 2 seconds in real time while requiring no customized CUDA kernels. Additionally, it utilizes x20 fewer parameters than the most concise neural implicit mapping of prior methods for SLAM, e.g., iMAP [ 31] and around x1000 fewer parameters than the state-of-the-art approach, e.g., NICE-SLAM [ 42]. For more details, please refer to our project homepage: https://vlis2022.github.io/fmap/.

研究动机与目标

• 为解决无深度传感器条件下的实时密集 RGB SLAM 挑战，其中映射不确定性和计算成本是主要瓶颈。
• 降低神经隐式映射在密集 SLAM 中的内存与计算开销，尤其在资源受限环境中。
• 通过利用多帧之间的几何一致性线索，提升地图初始化阶段的鲁棒性与收敛性。
• 为基于神经表征的 SLAM 中映射不确定性的理论分析与分解建立框架。
• 仅使用 RGB 输入且无深度监督，实现实时、高保真度的连续彩色点云重建。

提出的方法

• 该方法引入了一种因子化神经场表征，将场景不确定性分解为低维潜在空间，提升对噪声的鲁棒性并提高训练效率。
• 提出一种滑动窗口采样器，用于在地图初始化阶段整合时间上一致帧的几何线索，增强收敛性并降低不确定性。
• 该框架将映射建模为在增量 RGB 观测所学习的潜在特征条件下的后验概率最大化。
• 因子化表征使参数量相比 NICE-SLAM 最多减少 ×1000，相比 iMAP 减少 ×20，从而实现高效推理。
• 系统避免使用自定义 CUDA 内核，仅通过标准 PyTorch 实现实时运行，在基准序列上实现每 20 帧 2.01 秒的处理速度。
• 该方法在全 RGB 仅设置下进行评估，无任何深度监督，完全依赖颜色梯度进行位姿与几何优化。

实验结果

研究问题

• RQ1 如何在神经表征框架内，对无深度的密集 RGB SLAM 中的映射不确定性进行理论建模与分解？
• RQ2 何种神经场表征的因子化策略可有效减少参数量并提升训练效率，同时不牺牲重建保真度？
• RQ3 滑动窗口采样策略如何增强地图初始化并降低早期重建阶段的不确定性？
• RQ4 因子化神经场在实现极低内存与计算开销的前提下，能达到多大程度的实时性能，尤其与 iMAP 和 NICE-SLAM 等 SOTA 方法相比？
• RQ5 能否仅使用 RGB 输入且无深度监督，实现实时、高保真度的连续彩色点云重建？

主要发现

• FMapping 实现了每 20 帧 2.01 秒的处理速度，支持高保真彩色点云的连续重建。
• 该方法仅使用 0.01 百万个参数，相比 iMAP(-) 减少 ×20，相比 NICE-SLAM 减少 ×1000，显著降低内存占用。
• 在 Replica 数据集上，FMapping 的平均完成率达到 79.8%，相比 iMAP(-) 提升近 2 倍，且重建保真度更优。
• 每 3D 点仅需 80.64×10³ 次浮点运算，计算成本仅为 iMAP 的 1/5，展现出卓越的计算效率。
• 该方法无需自定义 CUDA 内核，仅使用标准 PyTorch 即实现实时推理，而 DIM-SLAM 需依赖定制化加速。
• 在定性评估中，FMapping 在整个 SLAM 过程中均能生成完整且准确的重建结果，而 iMAP(-) 在长序列中无法重建几何结构。