[论文解读] 3DMatch: Learning the Matching of Local 3D Geometry in Range Scans.

Andy Zeng, Shuran Song+3 more|arXiv (Cornell University)|Mar 27, 2016

Robotics and Sensor-Based Localization参考文献 2被引用 60

一句话总结

3DMatch 提出了一种深度学习方法，通过在关键点位置周围的累积距离场，从真实世界的3D扫描中联合学习几何特征表示和度量函数。该方法在匹配噪声大、不完整的3D数据方面优于当前最先进方法，并提升了3D重建中稀疏捆绑调整的鲁棒性。

ABSTRACT

Establishing correspondences between 3D geometries is essential to a large variety of graphics and vision applications, including 3D reconstruction, localization, and shape matching. Despite significant progress, geometric matching on real-world 3D data is still a challenging task due to the noisy, low-resolution, and incomplete nature of scanning data. These difficulties limit the performance of current state-of-art methods which are typically based on histograms over geometric properties. In this paper, we introduce 3DMatch, a data-driven local feature learner that jointly learns a geometric feature representation and an associated metric function from a large collection of real-world scanning data. We represent 3D geometry using accumulated distance fields around key-point locations. This representation is suited to handle noisy and partial scanning data, and concurrently supports deep learning with convolutional neural networks directly in 3D. To train the networks, we propose a way to automatically generate correspondence labels for deep learning by leveraging existing RGB-D reconstruction algorithms. In our results, we demonstrate that we are able to outperform state-of-the-art approaches by a significant margin. In addition, we show the robustness of our descriptor in a purely geometric sparse bundle adjustment pipeline for 3D reconstruction.

研究动机与目标

• 解决在真实世界测距扫描中匹配局部3D几何结构的挑战，这些扫描通常具有噪声、低分辨率和不完整的特点。
• 通过直接从3D数据学习数据驱动的几何描述符，克服基于直方图方法的局限性。
• 通过深度神经网络实现特征表示和匹配度量的端到端联合学习。
• 开发一种训练策略，利用现有的RGB-D重建流水线自动生成对应标签。
• 提升下游3D重建任务中的鲁棒性和准确性，特别是在稀疏捆绑调整中的表现。

提出的方法

• 将3D几何表示为以关键点位置为中心的累积距离场，从而增强对噪声和部分数据的鲁棒性。
• 使用3D卷积神经网络直接在3D空间中处理距离场表示以进行特征学习。
• 使用从现有RGB-D重建算法生成的自监督对应标签来训练网络。
• 联合优化特征嵌入和度量函数，以提升在真实扫描数据上的匹配性能。
• 利用大规模真实世界扫描数据学习可泛化的几何特征，而无需人工标注。

实验结果

研究问题

• RQ1 深度学习模型能否直接从具有噪声和不完整性的现实世界3D扫描中学习到有效的局部几何特征？
• RQ2 联合学习的特征表示与度量函数是否在3D匹配中优于手工设计的基于直方图的描述符？
• RQ3 从RGB-D重建流水线自动生成的对应标签是否足以训练出一个鲁棒的3D匹配网络？
• RQ4 该方法在使用稀疏捆绑调整的真实世界3D重建流水线中表现如何？
• RQ5 所学习的描述符在不同扫描条件和几何结构下的泛化能力如何？

主要发现

• 3DMatch 在真实世界扫描数据上的局部3D特征匹配任务中显著优于当前最先进方法。
• 使用累积距离场使得即使在存在噪声、低分辨率和部分观测的情况下，也能实现鲁棒的特征学习。
• 该模型在稀疏 bundle adjustment 流水线中表现出色，显著提升了3D重建的准确性。
• 使用来自RGB-D重建算法的对应标签进行自监督训练，实现了无需人工标注的有效学习。
• 联合学习的度量函数提升了匹配的可靠性，尤其是在具有挑战性的几何构型下。