[论文解读] Learning 3D-3D Correspondences for One-shot Partial-to-partial Registration

Zheng Dang, Fei Wang+1 more|arXiv (Cornell University)|Jun 8, 2020

Robotics and Sensor-Based Localization参考文献 45被引用 10

一句话总结

该论文提出 OPRNet，这是首个基于一次训练（one-shot）学习的局部到局部 3D 点云配准方法，采用带有异常值桶（outlier bins）的最优传输（Optimal Transport）层来建模不完整对应关系。在 ModelNet40 上，其精度和鲁棒性达到当前最先进水平，优于如 PRNet 等迭代方法，同时 GPU 显存使用量减少 6 倍，并在未见类别和真实世界数据上展现出良好的泛化能力。

ABSTRACT

While 3D-3D registration is traditionally tacked by optimization-based methods, recent work has shown that learning-based techniques could achieve faster and more robust results. In this context, however, only PRNet can handle the partial-to-partial registration scenario. Unfortunately, this is achieved at the cost of relying on an iterative procedure, with a complex network architecture. Here, we show that learning-based partial-to-partial registration can be achieved in a one-shot manner, jointly reducing network complexity and increasing registration accuracy. To this end, we propose an Optimal Transport layer able to account for occluded points thanks to the use of outlier bins. The resulting OPRNet framework outperforms the state of the art on standard benchmarks, demonstrating better robustness and generalization ability than existing techniques.

研究动机与目标

• 为解决现有基于学习的方法假设点云完全可观测这一局限，而该假设在真实场景中并不现实。
• 开发一种无需迭代优化和复杂训练策略的一次训练、端到端深度学习框架，用于局部到局部 3D 点云配准。
• 在推理阶段面对遮挡、噪声以及未见类别时，提升方法的鲁棒性与泛化能力。
• 相比先前 SOTA 的迭代方法（如 PRNet，需四块 32GB GPU），降低计算与显存开销。

提出的方法

• 提出一种带有异常值桶的最优传输（OT）层，用于建模局部对应关系，使网络能够处理源点云与目标点云中被遮挡或缺失的点。
• 将 DCP 中基于 softmax 的对应关系头替换为 OT 层，通过 Sinkhorn 算法计算可微分的稀疏分配矩阵，确保一一对应关系。
• 直接对 OT 层的输出（即分配矩阵）进行监督，而非对通过 SVD 得到的刚性变换进行监督，从而提升训练稳定性和鲁棒性。
• 采用共享的特征提取主干网络（DGCNN）结合 Transformer，增强源点云与目标点云的局部与全局特征表示。
• 实现一种可微分的 OT 层，基于源点与目标点之间的学习相似度得分计算运输成本矩阵，并利用异常值桶吸收未匹配的点。
• 通过在预测对应矩阵上使用均方误差损失，实现端到端训练，直接优化匹配过程。

实验结果

研究问题

• RQ1 是否能够通过一次训练的基于学习的方法，在不依赖迭代优化的前提下实现局部到局部 3D 配准的 SOTA 性能？
• RQ2 如何通过引入异常值桶，将最优传输方法适配以处理因遮挡而产生的局部对应关系？
• RQ3 对 OT 层输出直接监督是否相比对 SVD 后的刚性变换进行监督，能带来更好的鲁棒性？
• RQ4 一个紧凑的一次训练网络是否能在无需微调的情况下，有效泛化到未见类别和真实世界数据？

主要发现

• OPRNet 在 ModelNet40 基准测试中优于当前最先进迭代方法 PRNet，即使在未见类别和高缺失点率的挑战性条件下也表现优异。
• 该方法展现出卓越的鲁棒性与泛化能力，在无需任何微调或重训练的情况下，可良好泛化至真实世界数据。
• 与 PRNet（需四块 32GB GPU）相比，OPRNet 将训练显存需求降低了约 6 倍，同时保持高精度。
• 消融实验证明，对 OT 层输出的直接监督相比基于 SVD 的监督，能带来显著的性能提升，尤其在未见类别上表现更优。
• 即使在高缺失点率下，网络仍能保持高精度，适用于深度传感器或局部扫描等应用场景。
• 消融研究证实，带有异常值桶的 OT 层对于处理局部对应关系至关重要，其性能显著优于假设点云完全可观测的基线方法。