[论文解读] ESLAM: Efficient Dense SLAM System Based on Hybrid Representation of Signed Distance Fields

Mohammad Mahdi Johari, Camilla Carta+1 more|arXiv (Cornell University)|Nov 21, 2022

Robotics and Sensor-Based Localization被引用 4

一句话总结

ESLAM 提出了一种快速、精确且无需预训练的密集 SLAM 系统，采用混合神经表示方法，结合多尺度轴对齐特征平面与截断符号距离场（TSDF），实现高效的三维重建与相机定位。该方法在保持 50% 以上更高精度的同时，运行速度最高提升 10 倍，并通过二次方特征平面扩展避免了立方级内存增长。

ABSTRACT

We present ESLAM, an efficient implicit neural representation method for Simultaneous Localization and Mapping (SLAM). ESLAM reads RGB-D frames with unknown camera poses in a sequential manner and incrementally reconstructs the scene representation while estimating the current camera position in the scene. We incorporate the latest advances in Neural Radiance Fields (NeRF) into a SLAM system, resulting in an efficient and accurate dense visual SLAM method. Our scene representation consists of multi-scale axis-aligned perpendicular feature planes and shallow decoders that, for each point in the continuous space, decode the interpolated features into Truncated Signed Distance Field (TSDF) and RGB values. Our extensive experiments on three standard datasets, Replica, ScanNet, and TUM RGB-D show that ESLAM improves the accuracy of 3D reconstruction and camera localization of state-of-the-art dense visual SLAM methods by more than 50%, while it runs up to 10 times faster and does not require any pre-training.

研究动机与目标

• 开发一种无需预训练即可实现高精度三维重建与定位的密集 SLAM 系统。
• 将内存增长从与场景大小呈立方关系降低至二次方关系，提升可扩展性。
• 通过用高效特征平面替代体素网格，加速推理与训练过程。
• 通过特征平面表示中的隐式平滑性，提升表面质量与鲁棒性。
• 在 Replica、ScanNet 与 TUM RGB-D 数据集上实现最先进性能。

提出的方法

• 系统使用多尺度轴对齐特征平面表示场景特征，实现高效且可扩展的三维表示。
• 对于每个三维点，从平面插值得到特征，并通过浅层多层感知机（MLP）解码为 TSDF 与 RGB 值。
• 采用截断符号距离场（TSDF）作为隐式几何表示，以实现更快收敛与更高质量的重建。
• 该方法逐帧处理 RGB-D 图像，实时估计相机位姿并更新场景表示。
• 采用关键帧记忆机制，通过保留并重新优化先前区域，减轻灾难性遗忘。
• 通过端到端从原始 RGB-D 输入学习所有表示，避免预训练。

实验结果

研究问题

• RQ1 无预训练的密集 SLAM 系统是否能在精度与速度上超越现有基于 NeRF 的方法？
• RQ2 用轴对齐特征平面替代体素网格是否能降低内存增长并提升可扩展性？
• RQ3 基于 TSDF 的隐式表示是否能在重建质量与收敛速度上优于基于渲染或占用的表示方法？
• RQ4 在无显式正则化的情况下，基于特征平面的方法对表面平滑性与细节保留有何影响？
• RQ5 该系统在多样化的真实室内场景中，能否保持高精度与鲁棒性？

主要发现

• 在 Replica、ScanNet 与 TUM RGB-D 数据集上，ESLAM 的三维重建与相机定位精度相比最先进方法提升超过 50%。
• 该方法运行速度最高比现有方法快 10 倍，使用 RTX 3090 显卡时，Replica 数据集帧处理时间仅为 0.18 秒，ScanNet 数据集为 0.55 秒。
• 内存增长与场景大小呈二次方关系，不同于 NICE-SLAM 的立方增长，显著提升了对更大场景的可扩展性。
• 在 TUM RGB-D 数据集上，ESLAM 在 fr3/office 任务中实现了 2.42 cm 的 ATE RMSE，优于 NICE-SLAM（3.02 cm）与 iMAP*（5.80 cm）。
• 定性结果表明，ESLAM 在复杂室内场景中能重建更精细的几何细节与更高保真的纹理，优于 iMAP* 与 NICE-SLAM。
• 系统表现出显著更低的定位漂移与更高的运行一致性，性能指标的标准差更低。