[论文解读] 2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud

Mengdan Feng, Sixing Hu+2 more|arXiv (Cornell University)|Apr 22, 2019

Robotics and Sensor-Based Localization参考文献 32被引用 5

一句话总结

本文提出2D3D-MatchNet，一种深度学习框架，联合学习2D图像与3D点云关键点描述子，以实现2D-3D关键点的直接匹配，用于视觉位姿估计。通过在新构建的大规模牛津2D-3D图像块数据集上进行训练，该方法在牛津RobotCar数据集上实现了最先进水平的定位性能，平均平移误差和旋转误差分别为1.41m和6.40°，实现了利用LiDAR生成的3D地图进行鲁棒相机位姿估计。

ABSTRACT

Large-scale point cloud generated from 3D sensors is more accurate than its image-based counterpart. However, it is seldom used in visual pose estimation due to the difficulty in obtaining 2D-3D image to point cloud correspondences. In this paper, we propose the 2D3D-MatchNet - an end-to-end deep network architecture to jointly learn the descriptors for 2D and 3D keypoint from image and point cloud, respectively. As a result, we are able to directly match and establish 2D-3D correspondences from the query image and 3D point cloud reference map for visual pose estimation. We create our Oxford 2D-3D Patches dataset from the Oxford Robotcar dataset with the ground truth camera poses and 2D-3D image to point cloud correspondences for training and testing the deep network. Experimental results verify the feasibility of our approach.

研究动机与目标

• 解决视觉位姿估计中图像与3D点云之间缺乏直接2D-3D关键点匹配能力的问题。
• 通过学习兼容的描述子，实现将高精度LiDAR生成的3D地图用于视觉定位。
• 通过利用LiDAR数据，克服SfM构建的3D地图存在的尺度模糊性和噪声重建等局限性。
• 创建大规模、高质量的2D-3D关键点对应数据集，用于训练与基准测试。
• 开发一个端到端深度神经网络，联合优化2D图像块与3D点云体素的描述子。

提出的方法

• 该方法使用类似三元组的深度神经网络，学习描述子使得匹配的2D-3D关键点对之间描述子距离小，而非匹配对之间距离大。
• 关键点通过SIFT从2D图像中提取，通过ISS从3D点云中提取，输入表示为图像块和局部3D点云体素。
• 网络在新创建的牛津2D-3D图像块数据集上进行训练，该数据集包含432,982个真实2D-3D关键点对应关系。
• 推理阶段，为2D图像块和3D点云体素生成描述子，实现2D-3D的直接匹配。
• 使用EPnP算法从匹配的2D-3D对应关系中计算最终相机位姿。
• 网络采用对比损失进行训练，以促进跨模态的判别性描述子学习。

实验结果

研究问题

• RQ1 深度学习模型能否有效学习联合描述子，实现在图像与3D点云模态之间的直接2D-3D关键点匹配？
• RQ2 当在大规模城市场景的单次遍历数据上进行训练时，该方法是否能在未见环境中实现泛化？
• RQ3 描述子维度的选择如何影响2D-3D匹配中的定位精度与泛化能力？
• RQ4 当与学习到的2D-3D描述子结合时，LiDAR生成的3D点云能否有效用作视觉位姿估计中的参考地图？
• RQ5 场景特定挑战（如树木和光滑墙面）对2D-3D匹配过程的鲁棒性有何影响？

主要发现

• 该方法在完整测试集上成功定位了40%的测试帧，其中在128维描述子输出下，1,000帧中有625帧成功定位。
• 在牛津RobotCar数据集的完整测试集上，平均平移误差为1.41m，平均旋转误差为6.40°。
• 128维描述子在精度与泛化能力之间实现了最佳平衡，优于64维和256维的变体。
• 模型在未见区域上泛化良好，submap_test结果接近full_test_set，表明其具有强鲁棒性。
• 定位失败主要发生在树木密集区域（因虚假关键点）和光滑墙面区域（因3D关键点不足），突显了特定领域局限性。
• 定性可视化显示，预测的2D-3D对应关系与真实位姿对齐良好，证实了学习到的描述子的有效性。