[论文解读] Deep Closest Point: Learning Representations for Point Cloud Registration

Yue Wang, Justin Solomon|arXiv (Cornell University)|May 8, 2019

3D Shape Modeling and Analysis参考文献 53被引用 120

一句话总结

Deep Closest Point (DCP) 学习点云嵌入，并使用基于注意力的匹配模块加可微SVD来预测刚性变换，在ModelNet40上优于ICP及多种基线。

ABSTRACT

Point cloud registration is a key problem for computer vision applied to robotics, medical imaging, and other applications. This problem involves finding a rigid transformation from one point cloud into another so that they align. Iterative Closest Point (ICP) and its variants provide simple and easily-implemented iterative methods for this task, but these algorithms can converge to spurious local optima. To address local optima and other difficulties in the ICP pipeline, we propose a learning-based method, titled Deep Closest Point (DCP), inspired by recent techniques in computer vision and natural language processing. Our model consists of three parts: a point cloud embedding network, an attention-based module combined with a pointer generation layer, to approximate combinatorial matching, and a differentiable singular value decomposition (SVD) layer to extract the final rigid transformation. We train our model end-to-end on the ModelNet40 dataset and show in several settings that it performs better than ICP, its variants (e.g., Go-ICP, FGR), and the recently-proposed learning-based method PointNetLK. Beyond providing a state-of-the-art registration technique, we evaluate the suitability of our learned features transferred to unseen objects. We also provide preliminary analysis of our learned model to help understand whether domain-specific and/or global features facilitate rigid registration.

研究动机与目标

• 推动鲁棒的刚性配准，超越经典的ICP，以避免局部极小值。
• 开发一个基于学习的流水线，预测两组点云之间的可靠对应关系。
• 在ModelNet40上对端到端性能与ICP、Go-ICP、FGR和PointNetLK进行对比评估。
• 研究局部特征与全局特征的作用，以及学习到的嵌入向未见对象的迁移能力。

提出的方法

• 使用 PointNet 或 DGCNN 将点云嵌入到一个共同的特征空间。
• 引入基于注意力的模块（Transformer），在两个云之间融合上下文信息。
• 通过对嵌入向量进行 softmax，生成点之间的软化、可微分的对应关系（指针）。
• 利用可微分的 SVD 层从软对应中恢复刚性变换。
• 在合成对上端到端训练，使用结合旋转和平移误差的 SE(3) 损失。
• 进行消融实验，以比较嵌入选择、MLP 与 SVD，以及嵌入维度。

实验结果

研究问题

• RQ1 学到的逐点嵌入能否在3D点云配准中提升鲁棒性和准确性？相对于经典 ICP。
• RQ2 基于注意力的共同上下文嵌入是否提升两组点云之间的对应关系？
• RQ3 可微分的 SVD 层在从软对应中恢复刚性变换方面是否具有优势？
• RQ4 局部特征（DGCNN）与全局特征（PointNet）如何影响配准性能和泛化？
• RQ5 学习到的特征是否能迁移到未见类别并保持对噪声的鲁棒性？

主要发现

模型	MSE(R)	RMSE(R)	MAE(R)	MSE(t)	RMSE(t)	MAE(t)
ICP	894.897339	29.914835	23.544817	0.084643	0.290935	0.248755
Go-ICP [53]	140.477325	11.852313	2.588463	0.000659	0.025665	0.007092
FGR [57]	87.661491	9.362772	1.999290	0.000194	0.013939	0.002839
PointNetLK [16]	227.870331	15.095374	4.225304	0.000487	0.022065	0.005404
DCP-v1 (ours)	6.480572	2.545697	1.505548	0.000003	0.001763	0.001451
DCP-v2 (ours)	1.307329	1.143385	0.770573	0.000003	0.001786	0.001195

• DCP-v1 在 ModelNet40 的未见数据测试中已优于 ICP、Go-ICP、FGR 和 PointNetLK。
• 带注意力的 DCP-v2 在配准准确性上进一步超越了 DCP-v1。
• DCP 对高斯噪声保持鲁棒性，在嘈杂场景中优于竞争对手。
• 将 DCP 作为初始化步骤可使 ICP 收敛到全局最优，充当抛光阶段。
• 消融实验表明，基于 DGCNN 的局部特征和基于 SVD 的刚性运动估计器有助于性能提升，而嵌入维度和架构选择会影响结果。