[论文解读] Point-SLAM: Dense Neural Point Cloud-based SLAM

Erik Sandström, Yue Li+2 more|arXiv (Cornell University)|Apr 9, 2023

Robotics and Sensor-Based Localization被引用 18

一句话总结

Point-SLAM 提供了一种密集神经SLAM系统，将可学习的点特征锚定在数据驱动、适应性的神经点云中，实现从单目RGBD输入的实时跟踪与建图，在信息量高的区域提升效率与细节。

ABSTRACT

We propose a dense neural simultaneous localization and mapping (SLAM) approach for monocular RGBD input which anchors the features of a neural scene representation in a point cloud that is iteratively generated in an input-dependent data-driven manner. We demonstrate that both tracking and mapping can be performed with the same point-based neural scene representation by minimizing an RGBD-based re-rendering loss. In contrast to recent dense neural SLAM methods which anchor the scene features in a sparse grid, our point-based approach allows dynamically adapting the anchor point density to the information density of the input. This strategy reduces runtime and memory usage in regions with fewer details and dedicates higher point density to resolve fine details. Our approach performs either better or competitive to existing dense neural RGBD SLAM methods in tracking, mapping and rendering accuracy on the Replica, TUM-RGBD and ScanNet datasets. The source code is available at https://github.com/eriksandstroem/Point-SLAM.

研究动机与目标

• 用一种基于神经点的场景表示来驱动密集SLAM，并使其自适应输入信息密度。
• 开发一种动态的、输入驱动的点云，既充当地图也充当跟踪器。
• 通过体积渲染从神经点特征渲染深度和颜色，以优化再渲染损失。
• 展示实时可用的跟踪与建图能力，在需要处提升细节，同时在其他地方降低计算量。

提出的方法

• 引入一个神经点云 P，包含点 p_i 和几何特征 f_i^g 与颜色特征 f_i^c。
• 在场景探索过程中迭代地扩展点云，只有在半径 r 内不存在近邻时才添加点。
• 通过将搜索半径 r 作为图像梯度的函数来变化，实现动态点密度，以在纹理区域聚焦点。
• 通过沿射线采样并使用几何解码器 h 和颜色解码器 g_ξ，结合神经特征 P^g 与 P^c，对占据率 o_i 和颜色 c_i 进行解码，以渲染深度和颜色。
• 最小化用于映射（深度和颜色）和跟踪（位姿）的 RGBD 再渲染损失，以优化地图和相机轨迹。
• 通过学习的每图像潜在向量和曝光多层感知（MLP） G_φ 实现曝光补偿，以处理场景照明变化。

实验结果

研究问题

• RQ1 基于点的神经场景表示是否能够在实时密集 RGBD SLAM 系统中同时支持跟踪与建图？
• RQ2 相较于基于网格的神经SLAM方法，输入自适应（数据驱动）的点锚定是否提升渲染、建图和跟踪精度？
• RQ3 动态点密度对内存、运行时和室内数据集上的重建质量有何影响？
• RQ4 在标准基准数据集 Replica、TUM-RGBD、ScanNet 上，Point-SLAM 相对 NICE-SLAM、Vox-Fusion、ESLAM 的表现如何？

主要发现

方法	Rm0	Rm1	Rm2	Off0	Off1	Off2	Off3	Off4	Avg.
NICE-SLAM	0.97	1.31	1.07	0.88	1.00	1.06	1.10	1.13	1.06
Vox-Fusion	0.40	0.54	0.54	0.50	0.46	0.75	0.50	0.60	0.54
Vox-Fusion ∗	1.37	4.70	1.47	8.48	2.04	2.58	1.11	2.94	3.09
ESLAM	0.71	0.70	0.52	0.57	0.55	0.58	0.72	0.63	0.63
Point-SLAM (ours)	0.61	0.41	0.37	0.38	0.48	0.54	0.69	0.72	0.52

• Point-SLAM 在 Replica、TUM-RGBD 和 ScanNet 的跟踪、渲染和建图方面达到最先进或具有竞争力的性能。
• 自适应、数据驱动的点锚定提高了高频细节区域（如纹理区域）的渲染保真度和重建质量，同时在无纹理区域降低了内存和计算量。
• Compared to dense grid-based methods, dynamic point density provides better memory-accuracy trade-offs without sacrificing tracking accuracy.
• 在 Replica 上，Point-SLAM 在报道的运行中平均达到低于 NICE-SLAM、Vox-Fusion 和 ESLAM 的跟踪 RMSE（ATE RMSE）。
• 表 1 显示 Point-SLAM 在 Replica 上相对于基线在跟踪性能上达到优越或竞争性的表现（在 Rm0–Off4 的平均 RMSE）。