[论文解读] DeepI2P: Image-to-Point Cloud Registration via Deep Classification

Jiaxin Li, Gim Hee Lee|arXiv (Cornell University)|Apr 8, 2021

Robotics and Sensor-Based Localization参考文献 42被引用 4

一句话总结

DeepI2P 提出了一种新颖的图像到点云配准方法，通过将配准问题建模为两阶段问题，绕过了特征匹配：首先使用深度神经网络分类哪些3D点位于相机视锥内，然后通过逆投影优化相机位姿。该方法在Oxford Robotcar和KITTI数据集上实现了最先进性能，RTE为1.65m，RRE为4.14°，证明了无需显式跨模态特征描述符的可行性。

ABSTRACT

This paper presents DeepI2P: a novel approach for cross-modality registration between an image and a point cloud. Given an image (e.g. from a rgb-camera) and a general point cloud (e.g. from a 3D Lidar scanner) captured at different locations in the same scene, our method estimates the relative rigid transformation between the coordinate frames of the camera and Lidar. Learning common feature descriptors to establish correspondences for the registration is inherently challenging due to the lack of appearance and geometric correlations across the two modalities. We circumvent the difficulty by converting the registration problem into a classification and inverse camera projection optimization problem. A classification neural network is designed to label whether the projection of each point in the point cloud is within or beyond the camera frustum. These labeled points are subsequently passed into a novel inverse camera projection solver to estimate the relative pose. Extensive experimental results on Oxford Robotcar and KITTI datasets demonstrate the feasibility of our approach. Our source code is available at https://github.com/lijx10/DeepI2P

研究动机与目标

• 为解决跨模态图像到点云配准的挑战，该挑战因模态间外观和几何的显著差异而变得困难。
• 消除对学习跨模态特征描述符的需求，因为这些描述符易受模态不匹配影响而失效。
• 通过避免存储高维特征描述符，降低内存开销，从而实现在移动设备和机器人平台上的高效部署。
• 开发一种鲁棒的端到端框架，利用深度学习进行视锥分类，通过优化实现位姿估计。

提出的方法

• 采用双分支卷积神经网络并引入交叉注意力模块，基于图像和点云输入，将每个3D点分类为位于或不位于相机视锥内。
• 分类网络为每个3D点输出一个二值标签，指示其投影是否位于图像视场范围内。
• 位姿估计阶段将问题建模为无约束连续优化，以最小化视锥内点的重投影误差。
• 优化过程使用高斯-牛顿算法求解刚性变换（旋转和平移），使预测的视锥内点与图像平面最佳对齐。
• 该方法完全避免了特征匹配，转而依赖通过逆相机投影实现的几何一致性。
• 该框架在Oxford Robotcar和KITTI数据集上进行训练与评估，并对初始化、注意力机制和点密度进行了消融研究。

Figure 2: Our network architecture for the classification problem.

实验结果

研究问题

• RQ1 是否可以在不显式匹配2D与3D模态之间特征的前提下，实现跨模态图像到点云的配准？
• RQ2 基于深度学习的视锥分类方法在替代传统基于特征的对应匹配方面有多高效？
• RQ3 引入交叉注意力模块在多大程度上提升了分类与配准的准确性？
• RQ4 该方法在点云密度变化和遮挡情况下的鲁棒性如何？
• RQ5 基于二值视锥分类输出，逆相机投影优化是否能可靠地恢复相机位姿？

主要发现

• 在Oxford Robotcar数据集上，DeepI2P实现了1.65m的平移误差（RTE）和4.14°的旋转误差（RRE），表现出强大的配准性能。
• 在KITTI数据集上，该方法在5120个点时实现了1.94m的RTE和4.63°的RRE，即使在点密度降低的情况下仍表现出合理性能。
• 消融研究证实，若移除交叉注意力模块，分类准确率显著下降（从98%降至80%），且配准误差显著增加（RTE上升至6.88m）。
• 该方法对初始化具有鲁棒性，当初始值数量从60减少到1时，RTE仅从1.65m略微上升至3.52m。
• 点云密度降低时性能有所下降，但降幅适中——当密度降至原始值的1/4（从20480降至5120个点）时，RTE从1.65m上升至1.94m。
• 与Monodepth2+ICP相比，DeepI2P表现出显著更优的性能（RTE：1.65m vs. 8.45m），尤其在初始化不佳时，凸显其鲁棒性。

Figure 3: Visualizations of the Gauss-Newton at iteration 0 / 40 / 80 from left to right. Green points are classified as inside image FoV.