[论文解读] Deep-SLAM++: Object-level RGBD SLAM based on class-specific deep shape priors

Lan Hu, Wanting Xu+2 more|arXiv (Cornell University)|Jul 23, 2019

Robotics and Sensor-Based Localization参考文献 31被引用 12

一句话总结

Deep-SLAM++ 提出了一种新颖的 RGBD SLAM 系统，通过将神经网络生成的类别特定深度形状先验与在线深度测量相结合，实现在未知室内环境中生成完整、语义标注的 3D 物体模型。通过采用离散选择策略，基于深度测量的一致性选择最匹配的形状先验，该方法在地图完整性和对测量噪声的鲁棒性方面优于传统融合方法。

ABSTRACT

In an effort to increase the capabilities of SLAM systems and produce object-level representations, the community increasingly investigates the imposition of higher-level priors into the estimation process. One such example is given by employing object detectors to load and register full CAD models. Our work extends this idea to environments with unknown objects and imposes object priors by employing modern class-specific neural networks to generate complete model geometry proposals. The difficulty of using such predictions in a real SLAM scenario is that the prediction performance depends on the view-point and measurement quality, with even small changes of the input data sometimes leading to a large variability in the network output. We propose a discrete selection strategy that finds the best among multiple proposals from different registered views by re-enforcing the agreement with the online depth measurements. The result is an effective object-level RGBD SLAM system that produces compact, high-fidelity, and dense 3D maps with semantic annotations. It outperforms traditional fusion strategies in terms of map completeness and resilience against degrading measurement quality.

研究动机与目标

• 开发一个完整的 RGBD SLAM 系统，以在未知室内环境中生成对象级、语义标注的 3D 地图。
• 解决由于视角变化和测量质量差异导致的深度神经网络形状预测性能波动问题。
• 将学习到的形状先验与实时深度测量相结合，以提升重建的完整性和鲁棒性。
• 通过选择性模型选择，在保持高保真度物体几何形状的同时减少内存占用。

提出的方法

• 前端估计相机相对位姿，检测并分割物体，并使用 RGBD 数据拟合地面平面。
• 基于物体类别，特定类别的深度神经网络生成 3D 形状预测。
• 一种离散选择机制评估来自不同视角的多个形状预测，并选择与在线深度测量一致性最高的一个。
• 后端执行基于图的优化，以精炼绝对相机位姿和物体位姿，包括回环检测。
• 通过后续视角中更匹配的预测替换初始预测，逐步改进物体模型。
• 系统使用交并比（IoU）和 Chamfer 距离（CD）定量评估模型质量及其改进程度。

实验结果

研究问题

• RQ1 能否有效将神经网络生成的深度形状先验集成到 RGBD SLAM 流水线中，以在未知环境中重建完整的 3D 物体模型？
• RQ2 在实时 SLAM 估计过程中，如何缓解不一致或低质量的神经网络预测？
• RQ3 与纯测量融合相比，将学习到的先验与在线深度测量相结合，在多大程度上提升了地图完整性和鲁棒性？
• RQ4 基于测量一致性的离散选择策略能否可靠地从多个候选中识别出最佳形状先验？

主要发现

• 改进后的模型相较于初始模型，平均交并比（IoU）提升了 37.2%，从 0.2068 上升至 0.2837。
• Chamfer 距离（CD）误差从 0.0947 降低至 0.0812，下降了 14.2%，表明与参考形状的几何对齐更优。
• 系统对深度测量扰动表现出鲁棒性，网络生成的模型相比原始融合测量，显著减少了对齐模糊。
• 跨视角的增量式模型优化带来了物体几何形状的一致性改进，如图 11 所示的重复椅子实例所示。
• 回环检测成功纠正了累积漂移，如最终地图中红色椅子对齐的修正以及一致的对象标注所证实。