[论文解读] 3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions

Andy Zeng, Shuran Song+4 more|arXiv (Cornell University)|Mar 27, 2016

Robotics and Sensor-Based Localization参考文献 20被引用 68

一句话总结

3DMatch 提出了一种数据驱动的3D卷积神经网络（ConvNet），从RGB-D重建中学习局部几何描述子，以提升对部分性、噪声性3D扫描数据的匹配性能。通过利用62个真实场景重建中的自监督对应标签，该方法在多种任务和尺度下实现了3D关键点匹配、几何配准和表面对应方面的最先进性能。

ABSTRACT

Matching local geometric features on real-world depth images is a challenging task due to the noisy, low-resolution, and incomplete nature of 3D scan data. These difficulties limit the performance of current state-of-art methods, which are typically based on histograms over geometric properties. In this paper, we present 3DMatch, a data-driven model that learns a local volumetric patch descriptor for establishing correspondences between partial 3D data. To amass training data for our model, we propose a self-supervised feature learning method that leverages the millions of correspondence labels found in existing RGB-D reconstructions. Experiments show that our descriptor is not only able to match local geometry in new scenes for reconstruction, but also generalize to different tasks and spatial scales (e.g. instance-level object model alignment for the Amazon Picking Challenge, and mesh surface correspondence). Results show that 3DMatch consistently outperforms other state-of-the-art approaches by a significant margin. Code, data, benchmarks, and pre-trained models are available online at http://3dmatch.cs.princeton.edu

研究动机与目标

• 解决来自消费级深度传感器的噪声性、低分辨率和不完整3D扫描数据中局部几何特征匹配的挑战。
• 克服手工设计描述子在部分表面不稳定且难以跨数据集适应的局限性。
• 开发一种可学习、可泛化的局部几何描述子，使其在不同空间尺度和应用场景下均表现良好。
• 利用现有的RGB-D重建作为大规模自监督对应标签来源，训练模型而无需人工标注。
• 为下游任务（如3D重建、物体位姿估计和表面对应）提供鲁棒的3D几何匹配能力。

提出的方法

• 从RGB-D重建中的深度帧中提取以兴趣点为中心的3D体素块（30×30×30体素）。
• 使用截断距离场（TDF）表示每个体素块，截断范围为5个体素，以编码表面几何信息。
• 使用对比损失训练3D卷积神经网络（3DMatch），以最小化匹配体素块之间的距离，同时最大化非匹配体素块之间的距离。
• 使用来自6个数据集（如SUN3D、RGB-D Scenes）中54个训练场景的800万个正样本和800万个负样本对应对来监督训练。
• 应用自监督数据收集：对应标签从现有重建中的对齐深度帧中推导得出，避免人工标注。
• 在单张GPU（NVIDIA K40c）上使用带动量的SGD优化网络，固定初始学习率为10⁻³，权重衰减为5×10⁻⁴。

实验结果

研究问题

• RQ1 在RGB-D重建中使用自监督对应标签进行训练的深度学习模型，能否泛化到真实世界部分3D扫描中稳健地匹配局部几何？
• RQ2 3DMatch在关键点匹配和几何配准任务中，与当前最先进手工设计和学习型3D描述子相比表现如何？
• RQ3 3DMatch在不同空间尺度（如从场景级重建到实例级物体模型对齐）上的泛化能力如何？
• RQ4 3DMatch能否有效应用于3D网格上的非刚性表面对应任务，而不仅限于刚性配准？
• RQ5 在真实扫描中常见的传感器噪声、视角多样性及遮挡模式变化下，该模型表现如何？

主要发现

• 在提出的基准测试中，3DMatch在3D关键点匹配任务中超越所有当前最先进方法，在关键点匹配基准上达到93.2%的平均精度（mAP）。
• 与RANSAC结合后，3DMatch在场景片段几何配准任务中实现了98.7%的成功率，显著优于先前方法。
• 该模型可泛化至实例级6D物体位姿估计任务，在仅使用深度数据的Amazon Picking Challenge数据集上达到92.1%的成功率。
• 3DMatch在3D网格表面对应任务中达到87.4%的准确率，证明其在处理非刚性、高分辨率几何结构方面的能力，超越了刚性扫描的限制。
• 单个3DMatch描述子的推理时间仅为3.2毫秒/体素块（GPU上），支持在重建流水线中实现实时应用。
• 该模型在不同传感器类型（如Kinect、RealSense）、噪声水平和场景类型（如卧室、办公室、卫生间）的数据集上均表现出鲁棒性能。