[论文解读] GO-SLAM: Global Optimization for Consistent 3D Instant Reconstruction

Youmin Zhang, Fabio Tosi+2 more|arXiv (Cornell University)|Sep 5, 2023

Advanced Vision and ImagingComputer Science被引用 3

一句话总结

GO-SLAM 提出了一种基于深度学习的实时稠密视觉 SLAM 系统，通过在线回环检测和完整束调整联合优化相机位姿与神经隐式表面表示，实现了全局一致的 3D 重建。它利用多分辨率哈希编码实现即时、高频的 3D 模型更新，在单目、双目和 RGB-D 输入下，其跟踪鲁棒性和重建精度均优于当前最先进方法。

ABSTRACT

Neural implicit representations have recently demonstrated compelling results on dense Simultaneous Localization And Mapping (SLAM) but suffer from the accumulation of errors in camera tracking and distortion in the reconstruction. Purposely, we present GO-SLAM, a deep-learning-based dense visual SLAM framework globally optimizing poses and 3D reconstruction in real-time. Robust pose estimation is at its core, supported by efficient loop closing and online full bundle adjustment, which optimize per frame by utilizing the learned global geometry of the complete history of input frames. Simultaneously, we update the implicit and continuous surface representation on-the-fly to ensure global consistency of 3D reconstruction. Results on various synthetic and real-world datasets demonstrate that GO-SLAM outperforms state-of-the-art approaches at tracking robustness and reconstruction accuracy. Furthermore, GO-SLAM is versatile and can run with monocular, stereo, and RGB-D input.

研究动机与目标

• 解决在长轨迹中神经隐式 SLAM 系统中相机漂移和几何失真的问题。
• 利用单目、双目或 RGB-D 输入实现实时、全局一致的 3D 重建。
• 将高效的回环检测和在线完整束调整集成到基于深度学习的 SLAM 流水线中，实现连续的位姿与几何优化。
• 通过与全局优化位姿同步更新隐式表示，保持高保真度、连续的表面重建。
• 在实时约束下实现跟踪精度和 3D 重建质量的最先进性能。

提出的方法

• GO-SLAM 采用带有多分辨率哈希编码的神经隐式表示，以实现紧凑且高频的 3D 模型更新。
• 通过在线完整束调整实现实时、端到端的全局优化，利用完整的输入帧历史记录来优化所有关键帧位姿。
• 高效的回环检测机制通过将新观测场景与先前映射区域对齐，检测并纠正轨迹漂移。
• 系统持续监控每帧的位姿和深度变化，以指导关键帧选择，确保全局一致性下的最优更新频率。
• 采用包括 RGB、深度、SDF 和 Eikonal 监督在内的损失函数，训练隐式网络以实现光度和几何保真度。
• 该框架支持单目、双目和 RGB-D 输入，可在不同传感器配置下实现灵活部署。

实验结果

研究问题

• RQ1 基于深度学习的 SLAM 系统是否能仅使用 RGB 或 RGB-D 输入实现实时全局一致的 3D 重建？
• RQ2 在线完整束调整和回环检测在减少使用神经隐式表示的单目 SLAM 中的相机漂移方面有多有效？
• RQ3 持续、高频的 3D 模型更新在多大程度上提升了重建精度和几何一致性？
• RQ4 多分辨率哈希编码的集成如何提升神经隐式 SLAM 的效率和保真度？
• RQ5 当跳过帧以实现实时推理时，所提出系统是否能保持高性能？

主要发现

• 在 ScanNet 数据集上，GO-SLAM 的平均 ATE RMSE 为 7.02 cm，显著优于基线方法 DROID-SLAM（11.59 cm）在回环检测和完整束调整下的表现。
• 在 Replica 数据集上，采用完整回环检测和在线完整束调整后，GO-SLAM 的平均 F-score 达到 85.56，证明了其卓越的重建精度。
• 以 8 倍速度跳过帧（跳过 7/8 帧）仅导致 F-score 下降 1.15%（从 85.56 降至 84.41），证明其对大视角变化具有强鲁棒性。
• 系统在 NVIDIA RTX 3090 上保持 10 FPS 的帧率，GPU 显存占用 15.63 GB，兼顾高精度与实时性能。
• 消融实验表明，结合 RGB、深度、SDF 和 Eikonal 损失可获得最佳 F-score（85.56），优于单一损失配置。
• 仅使用回环检测时，GO-SLAM 将轨迹漂移减少 23.8%（从 11.59 cm 降至 8.83 cm），结合完整束调整后进一步优化至 7.02 cm。