[论文解读] Generalisable and distinctive 3D local deep descriptors for point cloud registration.

Fabio Poiesi, Davide Boscaini|arXiv (Cornell University)|May 21, 2021

Robotics and Sensor-Based Localization参考文献 43被引用 5

一句话总结

本文提出了一种基于深度学习的方法，用于学习尺度和旋转不变的3D局部描述子，该方法在不同传感器和环境之间具有良好的泛化能力。通过将点云块归一化并使用排列不变的网络进行编码，该方法在跨传感器点云配准任务中实现了最先进性能，优于现有的手工设计和学习型描述子，在泛化能力和重复性方面表现更优。

ABSTRACT

An effective 3D descriptor should be invariant to different geometric transformations, such as scale and rotation, repeatable in the case of occlusions and clutter, and generalisable in different contexts when data is captured with different sensors. We present a simple but yet effective method to learn generalisable and distinctive 3D local descriptors that can be used to register point clouds captured in different contexts with different sensors. Point cloud patches are extracted, canonicalised with respect to their local reference frame, and encoded into scale and rotation-invariant compact descriptors by a point permutation-invariant deep neural network. Our descriptors can effectively generalise across sensor modalities from locally and randomly sampled points. We evaluate and compare our descriptors with alternative handcrafted and deep learning-based descriptors on several indoor and outdoor datasets reconstructed using both RGBD sensors and laser scanners. Our descriptors outperform most recent descriptors by a large margin in terms of generalisation, and become the state of the art also in benchmarks where training and testing are performed in the same scenarios.

研究动机与目标

• 开发可在不同传感器模态（如RGB-D相机和激光扫描仪）之间泛化的3D局部描述子。
• 解决在遮挡、杂波以及采样密度变化条件下保持描述子独特性和重复性的挑战。
• 设计一种对点排列和几何变换（如旋转和尺度）不变的深度学习框架。
• 在训练和测试数据来自不同传感器或环境的跨上下文配准任务中，提升泛化能力。

提出的方法

• 通过局部邻域采样从3D点云中提取点云块。
• 利用局部参考帧对每个块进行归一化，以实现对全局旋转和平移的不变性。
• 采用点排列不变的深度神经网络将归一化后的块编码为紧凑且具有区分性的描述子。
• 网络架构确保对点顺序的不变性，并通过训练使生成的描述子对尺度和旋转具有鲁棒性。
• 该方法利用局部且随机采样的点，以增强在不同数据采集条件下的泛化能力。
• 描述子通过端到端方式优化，以提升判别能力和不变性，从而在不同数据集之间实现有效匹配。

实验结果

研究问题

• RQ1 基于深度学习的描述子是否能有效泛化到不同传感器模态（如RGB-D和激光扫描仪）？
• RQ2 在遮挡和杂波条件下，所提出方法在重复性和独特性方面的表现如何？
• RQ3 与非不变基线相比，排列不变的网络架构在多大程度上提升了描述子的鲁棒性？
• RQ4 该方法是否在跨上下文配准任务中实现了最先进性能，即使训练和测试在不同环境中进行？
• RQ5 归一化过程在描述子学习中对不变性和泛化能力的贡献是什么？

主要发现

• 所提出的描述子在跨传感器点云配准任务中实现了最先进性能，优于大多数近期的深度学习和手工设计描述子，在泛化能力方面表现更优。
• 该方法在遮挡和杂波条件下表现出强鲁棒性，能在不同场景和传感器类型下保持高描述子重复性。
• 排列不变的网络架构能够有效利用随机采样的局部点云进行学习，从而增强在多样化数据源上的泛化能力。
• 即使在不同场景下进行训练和测试，描述子仍表现出良好的泛化能力，表明其具备强大的域迁移能力。
• 在多个室内和室外数据集上的定量评估结果表明，与现有方法相比，该方法在准确性和泛化能力方面均表现出更优性能。