[论文解读] LPD-Net: 3D Point Cloud Learning for Large-Scale Place Recognition and Environment Analysis

Zhe Liu, Shunbo Zhou+5 more|arXiv (Cornell University)|Dec 11, 2018

Robotics and Sensor-Based Localization参考文献 37被引用 22

一句话总结

LPD-Net 是一种用于大规模三维点云场景识别的深度学习框架，通过自适应提取局部特征并使用基于图的邻域聚合模块来捕捉空间结构，从而提升全局描述符的学习能力。其在基准数据集上的表现优于 PointNetVLAD，实现了当前最优性能，且在光照和天气变化方面相比基于图像的方法展现出更优的鲁棒性。

ABSTRACT

Point cloud based place recognition is still an open issue due to the difficulty in extracting local features from the raw 3D point cloud and generating the global descriptor, and it's even harder in the large-scale dynamic environments. In this paper, we develop a novel deep neural network, named LPD-Net (Large-scale Place Description Network), which can extract discriminative and generalizable global descriptors from the raw 3D point cloud. Two modules, the adaptive local feature extraction module and the graph-based neighborhood aggregation module, are proposed, which contribute to extract the local structures and reveal the spatial distribution of local features in the large-scale point cloud, with an end-to-end manner. We implement the proposed global descriptor in solving point cloud based retrieval tasks to achieve the large-scale place recognition. Comparison results show that our LPD-Net is much better than PointNetVLAD and reaches the state-of-the-art. We also compare our LPD-Net with the vision-based solutions to show the robustness of our approach to different weather and light conditions.

研究动机与目标

• 为解决在大规模动态环境中从原始三维点云中提取判别性且可泛化的全局描述符的挑战。
• 克服现有方法（如 PointNetVLAD）忽略局部特征空间分布的局限性。
• 开发一种深度神经网络，能够从原始点云数据中端到端地学习局部结构与全局空间关系。
• 提升在低光照、降雨和季节性变化等恶劣条件下的场景识别鲁棒性。
• 在大规模点云检索任务中实现最先进性能。

提出的方法

• 提出一种自适应局部特征提取模块，通过基于特征相似性的动态选择邻域点，而非固定 k-近邻，来学习局部结构。
• 采用基于图的邻域聚合模块，在特征空间和笛卡尔空间中建模局部特征之间的关系，以捕捉空间分布。
• 使用双图聚合机制，通过在几何空间和特征空间中学习的图来融合局部特征，从而归纳性地学习全局结构。
• 端到端训练网络，实现从原始三维坐标中对局部特征学习与全局描述符生成的联合优化。
• 采用 NetVLAD 风格的全局池化层，将特征聚合为紧凑且判别性强的全局描述符，以支持检索。

实验结果

研究问题

• RQ1 与固定邻域方法相比，自适应局部特征提取是否能提升大规模三维点云中全局描述符的判别能力？
• RQ2 通过基于图的聚合建模局部特征的空间分布，是否能提升全局描述符的质量？
• RQ3 在恶劣天气和光照条件下，基于三维点云的方法是否优于基于图像的方法进行场景识别？
• RQ4 LPD-Net 在包括季节性和动态变化在内的多样化环境中的泛化能力如何？
• RQ5 特征空间与几何空间图学习的融合在大规模场景中是否能提升检索精度？

主要发现

• 在 Robotcar 数据集上，LPD-Net 在 15m 范围内达到 88.4% 的召回率，显著优于 PointNetVLAD（15m 时为 86.5%），并创下新的最先进记录。
• 在夜间降雨条件下，LPD-Net 达到 44.6% 的召回率（15m），远超 NV+SP（28.4%）和 HF-Net（11.4%），展现出对低能见度条件的强鲁棒性。
• 该方法在所有测试的天气和光照条件下（包括黎明、黄昏、阴天和夜间）均保持强劲性能，大多数情况下在 10m 范围内召回率超过 80%。
• 消融实验表明，使用特征空间邻域关系（P）与原始特征向量结合时性能最佳，优于原始关系（S）和仅几何关系（O）。
• 采用学习得到的 k_opt^i 最优邻域的自适应局部特征提取方法，即使在微调后，也始终优于固定 k 的方法，显著提升准确率。
• 基于图的聚合模块能有效捕捉空间结构，消融实验表明，结合特征空间与笛卡尔空间图可获得更优的描述符质量。