[论文解读] Learning Multiview 3D Point Cloud Registration

Žan Gojčič, Caifa Zhou+3 more|arXiv (Cornell University)|Jan 1, 2020

3D Shape Modeling and Analysis参考文献 70被引用 12

一句话总结

该论文提出首个端到端、可微分的深度学习框架，用于多视角3D点云配准，通过可微分的普鲁斯特求解器和谱松弛法联合优化成对配准与全局同步。该方法在60视角场景中，相较于基于RANSAC的方法，旋转误差降低超过25个百分点，速度提升13倍以上，性能达到SOTA水平，得益于新颖的置信度估计模块和迭代重加权最小二乘优化。

ABSTRACT

We present a novel, end-to-end learnable, multiview 3D point cloud registration algorithm. Registration of multiple scans typically follows a two-stage pipeline: the initial pairwise alignment and the globally consistent refinement. The former is often ambiguous due to the low overlap of neighboring point clouds, symmetries and repetitive scene parts. Therefore, the latter global refinement aims at establishing the cyclic consistency across multiple scans and helps in resolving the ambiguous cases. In this paper we propose, to the best of our knowledge, the first end-to-end algorithm for joint learning of both parts of this two-stage problem. Experimental evaluation on well accepted benchmark datasets shows that our approach outperforms the state-of-the-art by a significant margin, while being end-to-end trainable and computationally less costly. Moreover, we present detailed analysis and an ablation study that validate the novel components of our approach. The source code and pretrained models are publicly available under https://github.com/zgojcic/3D_multiview_reg.

研究动机与目标

• 解决传统两阶段3D点云配准流水线的局限性，后者存在误差传播问题且缺乏全局一致性。
• 通过端到端可微分方式联合学习成对与全局配准，消除对独立、不可微分的全局优化步骤的需求。
• 通过局部与全局优化之间的迭代反馈，提升在低重叠、对称或重复场景中的鲁棒性与准确性。
• 开发一种计算高效、完全可微分的配准框架，直接在点云上操作，无需中间表示（如深度图像）。

提出的方法

• 引入一个可微分的成对配准模块，通过可微分的普鲁斯特求解器估计变换参数，实现配准过程中的反向传播。
• 采用新颖的置信度估计模块，包含可学习的重叠池化层，用于预测成对匹配的可靠性分数。
• 使用可微分的谱松弛层进行变换同步，支持带有可学习边权重的位姿图全局优化。
• 应用迭代重加权最小二乘（IRLS）方案，通过将残差反馈至网络，对成对与绝对变换进行优化。
• 基于预测的置信度分数引入边剪枝机制，在优化过程中动态移除低置信度边。
• 通过将成对网络、置信度头与同步层组合为单一可微分计算图，实现端到端训练。

实验结果

研究问题

• RQ1 是否能够通过完全端到端的深度学习框架，联合优化成对与全局3D点云配准，从而消除对独立、不可微分的优化阶段的需求？
• RQ2 局部成对估计与全局同步之间的迭代反馈在模糊或低重叠场景中，如何提升配准精度？
• RQ3 可学习的置信度估计模块相较于固定或启发式加权策略，在提升对异常值和噪声初始匹配的鲁棒性方面，其改进程度如何？
• RQ4 可微分优化层（如普鲁斯特求解器与谱松弛）对多视角配准中收敛性与性能的影响是什么？
• RQ5 与基于RANSAC及其他SOTA多视角配准流水线相比，所提方法在速度与精度上的表现如何？

主要发现

• 在3DMatch基准上，该方法相较于SOTA，平均旋转误差降低25.3个百分点，显著优于现有方法。
• 该方法速度超过基于RANSAC的流水线13倍以上，在60视角的Kitchen场景中，配准耗时约80秒，而RANSAC需超过1100秒。
• 经过四轮迭代后，重加权方案使成对变换估计的召回率相比初始估计提升约2个百分点。
• 采用重叠池化的置信度估计模块相比其他剪枝策略，性能提升超过20个百分点，证明其在鲁棒性中的关键作用。
• 该方法在未见场景上泛化能力更强，在Redwood室内数据集上召回率比SOTA高出4个百分点。
• 消融实验表明，基于置信度的边剪枝与迭代优化均对最优性能至关重要，任一组件的移除均导致性能显著下降。