[论文解读] GlORIE-SLAM: Globally Optimized RGB-only Implicit Encoding Point Cloud SLAM

Gan‐Lin Zhang, Erik Sandström+4 more|arXiv (Cornell University)|Mar 28, 2024

3D Surveying and Cultural Heritage被引用 6

一句话总结

GlORIE-SLAM 提供一个仅使用 RGB 的密集 SLAM 系统，采用可变形神经点云，具备在线回环闭合和全局 BA，并由 DSPO 层将单目深度先验融合到位姿-深度优化中。

ABSTRACT

Recent advancements in RGB-only dense Simultaneous Localization and Mapping (SLAM) have predominantly utilized grid-based neural implicit encodings and/or struggle to efficiently realize global map and pose consistency. To this end, we propose an efficient RGB-only dense SLAM system using a flexible neural point cloud scene representation that adapts to keyframe poses and depth updates, without needing costly backpropagation. Another critical challenge of RGB-only SLAM is the lack of geometric priors. To alleviate this issue, with the aid of a monocular depth estimator, we introduce a novel DSPO layer for bundle adjustment which optimizes the pose and depth of keyframes along with the scale of the monocular depth. Finally, our system benefits from loop closure and online global bundle adjustment and performs either better or competitive to existing dense neural RGB SLAM methods in tracking, mapping and rendering accuracy on the Replica, TUM-RGBD and ScanNet datasets. The source code is available at https://github.com/zhangganlin/GlOIRE-SLAM

研究动机与目标

• 推动无需对地图更新进行高成本反向传播的 RGB-only 密集 SLAM。
• 提出一个可变形神经点云地图，实现在线回环闭合与全局 BA。
• 引入 DSPO（Disparity, Scale and Pose Optimization）以将单目深度先验融入 BA。
• 利用单目深度先验来提升尺度、深度精度和重建质量。
• 在标准数据集上展示具有竞争力或优越的渲染、重建和跟踪性能。

提出的方法

• 用一个承载几何与颜色特征的可变形神经点云来表示场景。
• 在关键帧沿射线添加神经点，采用深度引导的采样和一个深度感知的动态半径。
• 通过深度引导的体积渲染来渲染深度与颜色，使用固定占据 MLP 和一个带有视方向条件的颜色 MLP。
• 跟踪使用逐帧光流、基于 DBA 的局部 BA，以及结合单目深度先验的 DSPO 层来联合优化视差、尺度与位姿。
• 通过将单目深度先验与多视几何一致性融合来构建代理深度图，以稳定渲染与建图。
• 映射更新可变形的神经点云以反映经过 refined 的相机位姿，而无需重新训练特征。
• 通过因子图方法实现回环闭合与在线全局 BA，并进行数值稳定性归一化步骤。
• DSPO 的两阶段优化：先用 DBA 细化几何；再在单目深度先验引导下，联合优化高误差的视差以及尺度和位移。
• 无训练映射：保持可变形点云，使全局位姿变化能在不对地图编码进行反向传播的情况下反映。

实验结果

研究问题

• RQ1 一个仅RGB 的SLAM系统是否能够在不对神经网格特征进行反向传播的情况下实现全局一致的地图与精确的跟踪？
• RQ2 可变形神经点云带在线回环闭合与全局 BA 是否在渲染与重建方面相较于基于RGB的网格方法有改进？
• RQ3 如何将单目深度先验有效整合到 DSPO 层中以在 RGB-only SLAM 中稳定尺度与深度？
• RQ4 在线回环闭合与全局 BA 对 Replica、TUM-RGBD、ScanNet 的轨迹准确性与地图质量有何影响？
• RQ5 与当代 RGB 与 RGB-D 密集 SLAM 基线相比，所提方法在渲染、重建与跟踪方面的表现如何？

主要发现

• 方法在 Replica/ScanNet 上的渲染准确度（PSNR 和 SSIM）更高且 LPIPS 分数具有竞争力，与 RGB 基线相比更优或相近。
• GlORIE-SLAM 在 RGB 方法中达到最佳或具竞争力的 ATE RMSE，显示出强大的跟踪精度。
• 可变形神经点云使在回环闭合与全局 BA 过程中实现在线地图变形成为可能，避免了完整地图的重新创建。
• DSPO 层通过将单目深度先验与视差和尺度细化耦合，提升了深度与位姿估计。
• 在 ScanNet 上，GlORIE-SLAM 的渲染指标超越了许多 RGB-D 方法，并在各数据集上展现出鲁棒的跟踪精度。