[论文解读] PointNetLK: Robust & Efficient Point Cloud Registration using PointNet

Yasuhiro Aoki, Hunter Goforth+2 more|arXiv (Cornell University)|Mar 13, 2019

3D Surveying and Cultural Heritage参考文献 45被引用 16

一句话总结

PointNetLK 提出了一种可微分的、端到端可训练的框架，将 PointNet 与改进的 Lucas-Kanade 算法统一，实现了鲁棒且高效的点云配准。通过将 PointNet 重新解释为可学习的成像函数，并将 LK 算法适配为无需卷积梯度的计算方式，该方法在准确度、跨形状类别的一般化能力以及 O(n) 计算复杂度方面达到最先进水平，在初始化鲁棒性和效率方面优于 ICP 和其他基于深度学习的方法。

ABSTRACT

PointNet has revolutionized how we think about representing point clouds. For classification and segmentation tasks, the approach and its subsequent extensions are state-of-the-art. To date, the successful application of PointNet to point cloud registration has remained elusive. In this paper we argue that PointNet itself can be thought of as a learnable "imaging" function. As a consequence, classical vision algorithms for image alignment can be applied on the problem - namely the Lucas & Kanade (LK) algorithm. Our central innovations stem from: (i) how to modify the LK algorithm to accommodate the PointNet imaging function, and (ii) unrolling PointNet and the LK algorithm into a single trainable recurrent deep neural network. We describe the architecture, and compare its performance against state-of-the-art in common registration scenarios. The architecture offers some remarkable properties including: generalization across shape categories and computational efficiency - opening up new paths of exploration for the application of deep learning to point cloud registration. Code and videos are available at https://github.com/hmgoforth/PointNetLK.

研究动机与目标

• 为解决将 PointNet 应用于点云配准的挑战，尽管其在分类和分割任务中已取得成功，但该问题长期未能突破。
• 将经典 Lucas-Kanade 算法适配至 PointNet 的排列等变、非网格结构的表示形式，该形式缺乏局部空间梯度。
• 开发一种完全可微分的循环神经网络架构，将 PointNet 和 LK 组件展开为单一可训练系统，实现端到端优化。
• 在无需对每种新物体类型进行微调的情况下，实现对多样化形状和类别的鲁棒配准。
• 通过避免昂贵的点对应计算和基于 CPU 的 ICP 迭代，提升计算效率，并支持 GPU 加速。

提出的方法

• 将 PointNet 重新解释为可学习的成像函数，将无序点云映射为固定维特征向量，从而可应用图像配准技术。
• 通过使用变换参数的无穷小扰动来解析计算雅可比矩阵，修改 Lucas-Kanade 算法，以绕过对卷积梯度估计的需求。
• 将改进后的 LK 算法作为循环模块集成到 PointNet 架构中，形成一个统一的、可微分的网络，命名为 PointNetLK。
• 采用变换的旋量参数化（如 SE(3) 李代数）表示刚体运动，并通过残差误差的梯度下降计算增量更新。
• 在 2.5D 场景中应用可见点掩码，以在训练过程中保持可微性，同时在测试时移除该掩码以进行推理。
• 使用基于变换后源点云与目标点云特征差异的 L2 范数损失，通过扭曲参数收敛情况判断进行早停，实现端到端训练。

实验结果

研究问题

• RQ1 Lucas-Kanade 算法能否在不依赖空间梯度的情况下，适配 PointNet 的非网格、非卷积特征表示？
• RQ2 将 PointNet 和改进后的 LK 算法展开为单一循环神经网络，能否实现端到端、可微分的点云配准并提升鲁棒性？
• RQ3 PointNetLK 框架在未见过的形状和类别上是否能实现良好泛化，即使仅在部分物体类型上进行训练？
• RQ4 与 ICP 和其他基于深度学习的配准方法相比，PointNetLK 在准确度、初始化鲁棒性以及计算效率方面表现如何？
• RQ5 由于架构隐式建模了配准过程，该方法是否能在初始姿态远离真实值时仍实现全局最优对齐？

主要发现

• PointNetLK 在 ModelNet 和 S3DIS 数据集上实现了最先进水平的配准准确度，误差显著低于 ICP 和其他基于深度学习的基线方法。
• 该方法具备良好的跨形状类别泛化能力：成功配准了训练中未见的斯坦福野兔和另一架不同型号的飞机，表明对形状变化具有鲁棒性。
• PointNetLK 展现出全局收敛性：在旋转实验中，代价函数在正确 180° 方向具有全局最小值，而 ICP 的代价函数在 180° 处存在虚假最小值，表明其优化景观更优。
• 该方法的计算复杂度与点数呈线性关系（O(n)），与 ICP 的 O(n²) 复杂度形成对比，因此效率更高，适用于实时应用。
• 在噪声数据或部分可见数据（如 2.5D 扫描）上进行微调可显著提升性能，最优结果通常需要 300–400 个训练周期。
• 该框架完全可微分，且可高效运行于 GPU，支持无缝集成到更大的深度学习流水线中，而 CPU 依赖的 ICP 变体则不具备此优势。