[论文解读] Unsupervised Learning of 3D Point Set Registration

Lingjing Wang, Li Xiang+1 more|arXiv (Cornell University)|Jun 11, 2020

3D Shape Modeling and Analysis参考文献 34被引用 11

一句话总结

该论文提出 Deep-3DAligner，一种用于 3D 点集配准的无监督深度学习框架，其直接优化可学习的空间相关性表征（SCR）特征，以回归几何变换（旋转和平移），而无需显式的特征编码器或相关性模块。该方法在 ModelNet40 上实现了与监督型最先进方法相当的性能，即使在高斯噪声、异常值和点云缺失的情况下也表现出色，证明了其在无真实标签情况下的鲁棒性。

ABSTRACT

Point cloud registration is the process of aligning a pair of point sets via searching for a geometric transformation. Recent works leverage the power of deep learning for registering a pair of point sets. However, unfortunately, deep learning models often require a large number of ground truth labels for training. Moreover, for a pair of source and target point sets, existing deep learning mechanisms require explicitly designed encoders to extract both deep spatial features from unstructured point clouds and their spatial correlation representation, which is further fed to a decoder to regress the desired geometric transformation for point set alignment. To further enhance deep learning models for point set registration, this paper proposes Deep-3DAligner, a novel unsupervised registration framework based on a newly introduced deep Spatial Correlation Representation (SCR) feature. The SCR feature describes the geometric essence of the spatial correlation between source and target point sets in an encoding-free manner. More specifically, our method starts with optimizing a randomly initialized latent SCR feature, which is then decoded to a geometric transformation (i.e., rotation and translation) to align source and target point sets. Our Deep-3DAligner jointly updates the SCR feature and weights of the transformation decoder towards the minimization of an unsupervised alignment loss. We conducted experiments on the ModelNet40 datasets to validate the performance of our unsupervised Deep-3DAligner for point set registration. The results demonstrated that, even without ground truth and any assumption of a direct correspondence between source and target point sets for training, our proposed approach achieved comparative performance compared to most recent supervised state-of-the-art approaches.

研究动机与目标

• 解决基于深度学习的 3D 点集配准方法依赖大规模真实标签的问题。
• 消除对手工设计的特征编码器和相关性模块的需求，从而降低模型复杂度。
• 开发一种端到端的无监督框架，联合优化空间相关性表征与变换解码过程。
• 在无监督条件下提升对噪声、异常值和点云缺失的鲁棒性。
• 通过学习通用的几何变换先验，实现跨不同点集对的可迁移知识。

提出的方法

• 提出一种可学习、可微分的空间相关性表征（SCR）特征，以无编码方式编码源点集与目标点集之间的几何关系。
• 设计一种变换解码网络，通过多层神经网络将 SCR 特征映射为刚性变换参数（旋转 R 和平移 t）。
• 采用基于 Chamfer 距离的对齐损失，衡量训练过程中变换后的源点集与目标点集之间的相似性。
• 通过反向传播联合优化 SCR 特征与解码器权重，使用无监督目标，避免依赖真实变换标签。
• 使用大小为 N×3 的相对位置张量，作为输入以优化 SCR 过程，表示源点集与目标点集之间的点对关系。
• 在推理阶段固定已训练好的解码器，仅对新点集对优化 SCR 特征，从而实现快速且可泛化的配准。

实验结果

研究问题

• RQ1 可学习、可微分的空间相关性表征（SCR）是否能够替代 3D 点集配准中的显式特征编码器与相关性模块？
• RQ2 无监督深度学习框架是否能在无任何真实变换标签的情况下实现具有竞争力的配准精度？
• RQ3 在高斯噪声、异常值和点云缺失等挑战性条件下，所提方法的性能如何？
• RQ4 SCR 与变换解码器的联合优化是否优于对 R 和 t 的直接优化？
• RQ5 所提框架是否能在无需微调的情况下泛化到不同点集对？

主要发现

• Deep-3DAligner 在 ModelNet40 上实现了具有竞争力的性能，MSE(R) = 16.5751，MAE(R) = 1.3631，部分指标优于监督型 DCP 基线。
• 在 0.6 D.O. 噪声条件下，该方法仍保持强大性能，尽管异常值比例很高，仍成功配准了约一半的测试样本。
• 与基线直接优化方法相比，Deep-3DAligner 的 MSE(R) 为 1.1544，而直接优化方法为 406.13，证明了学习先验的必要性。
• 在干净条件下，模型对高斯噪声、异常值和点云缺失表现出鲁棒性，MSE(t) = 0.000444，MAE(t) = 0.014533。
• 消融实验证实，所提出的 SCR 表征与多层解码器至关重要，而直接对 R 和 t 进行优化则无法收敛到可行解。
• 该框架支持有效的迁移学习，训练好的解码器可泛化至新点集对而无需重新训练。