[论文解读] Coherent Point Drift Networks: Unsupervised Learning of Non-Rigid Point Set Registration

Wang, Lingjing, Li, Xiang+2 more|arXiv (Cornell University)|Jun 7, 2019

Robotics and Sensor-Based Localization参考文献 58被引用 18

一句话总结

本文提出一致点漂移网络（CPD-Net），一种深度学习框架，可在单次前向传播中学习预测点集配准的非刚性几何变换，从而消除迭代优化。通过利用具有理论连续性保证的可学习连续位移场，CPD-Net 在 2D/3D 合成数据集和真实世界数据集上实现了实时推理，且精度和泛化能力更优，其速度相比 CPD 等迭代方法快达数个数量级，同时保持或提升了配准质量。

ABSTRACT

Given new pairs of source and target point sets, standard point set registration methods often repeatedly conduct the independent iterative search of desired geometric transformation to align the source point set with the target one. This limits their use in applications to handle the real-time point set registration with large volume dataset. This paper presents a novel method, named coherent point drift networks (CPD-Net), for the unsupervised learning of geometric transformation towards real-time non-rigid point set registration. In contrast to previous efforts (e.g. coherent point drift), CPD-Net can learn displacement field function to estimate geometric transformation from a training dataset, consequently, to predict the desired geometric transformation for the alignment of previously unseen pairs without any additional iterative optimization process. Furthermore, CPD-Net leverages the power of deep neural networks to fit an arbitrary function, that adaptively accommodates different levels of complexity of the desired geometric transformation. Particularly, CPD-Net is proved with a theoretical guarantee to learn a continuous displacement vector function that could further avoid imposing additional parametric smoothness constraint as in previous works. Our experiments verify the impressive performance of CPD-Net for non-rigid point set registration on various 2D/3D datasets, even in the presence of significant displacement noise, outliers, and missing points. Our code will be available at https://github.com/nyummvc/CPD-Net.

研究动机与目标

• 解决迭代点集配准方法在每次处理新点集对时重新优化所带来的计算瓶颈问题。
• 开发一种基于深度学习的方法，使其能从训练数据泛化，预测未见过的点集对之间的几何变换。
• 通过理论保证连续位移场，消除对手动设计平滑性约束的需求。
• 通过用单次神经网络推理替代迭代优化，实现在大规模或流式点云数据上的实时配准。

提出的方法

• CPD-Net 使用多层感知机（MLP）学习源点集和目标点集的全局形状描述符。
• 通过拼接源点坐标与源点集和目标点集的全局描述符，构建几何变换描述符。
• 通过堆叠三个连续的 MLP，从变换描述符中学习连续的位移向量场，将非刚性形变建模为输入点坐标和全局上下文的函数。
• 使用可微分对齐损失进行端到端训练，该损失衡量变换后的源点集与目标点集之间的距离。
• 网络架构设计确保预测位移场的理论连续性，避免了对显式参数化平滑性正则化的依赖。
• 该方法以无监督方式运行，仅依赖对齐损失进行训练，无需训练期间的真值变换。

实验结果

研究问题

• RQ1 深度神经网络能否在无需迭代优化的情况下学习预测点集配准的非刚性几何变换？
• RQ2 该网络能否在高精度和对噪声、异常值及缺失数据具有鲁棒性的前提下，泛化到未见过的点集对？
• RQ3 该网络预测的位移场是否能在不依赖显式平滑性约束的情况下保持连续性？
• RQ4 与 CPD 等迭代基线方法相比，该方法能否在大规模数据集上实现实时推理？

主要发现

• 在测试集上，CPD-Net 的 Chamfer Distance（C.D.）为 0.0028，与 CPD 的 0.0026 相当，但速度提升 800 倍（20,000 对点集的处理时间分别为 15 秒 vs. 22 小时）。
• 在 ShapeNet 椅子数据集上，CPD-Net 仅用 40 秒完成配准，而 CPD 需要 4 小时，且配准结果在定性上显著更优。
• 该模型在未见数据上泛化良好，在测试集上的性能与训练集几乎一致，表明其具备强大的泛化能力。
• 理论分析证实，CPD-Net 学习到了一个连续的位移场，其内在特性避免了先前方法中对手动设计平滑性约束的依赖。
• 在真实世界 3D 形状上的定性结果表明，CPD-Net 能够成功对齐 CPD 失败的复杂非刚性形变，即使在无真值变换的情况下亦然。
• 该方法对显著噪声、异常值和缺失点表现出鲁棒性，在多种 2D 和 3D 数据集上均保持了高精度的对齐效果。