[论文解读] Lepard: Learning partial point cloud matching in rigid and deformable scenes

Yang Li, Tatsuya Harada|arXiv (Cornell University)|Nov 24, 2021

3D Shape Modeling and Analysis被引用 4

一句话总结

Lepard 通过解耦特征与三维位置表征，采用基于点积的位置编码和重定位模块，在刚性与非刚性场景中提出一种基于学习的局部点云匹配方法，显著增强几何感知能力。其在 3DMatch 上实现 93.9% 的最先进匹配召回率，在 3DLoMatch 上达到 71.3%，并在新提出的 4DMatch 和 4DLoMatch 基准上分别实现 +27.1% 和 +34.8% 的非刚性匹配召回率提升。

ABSTRACT

We present Lepard, a Learning based approach for partial point cloud matching in rigid and deformable scenes. The key characteristics are the following techniques that exploit 3D positional knowledge for point cloud matching: 1) An architecture that disentangles point cloud representation into feature space and 3D position space. 2) A position encoding method that explicitly reveals 3D relative distance information through the dot product of vectors. 3) A repositioning technique that modifies the crosspoint-cloud relative positions. Ablation studies demonstrate the effectiveness of the above techniques. In rigid cases, Lepard combined with RANSAC and ICP demonstrates state-of-the-art registration recall of 93.9% / 71.3% on the 3DMatch / 3DLoMatch. In deformable cases, Lepard achieves +27.1% / +34.8% higher non-rigid feature matching recall than the prior art on our newly constructed 4DMatch / 4DLoMatch benchmark.

研究动机与目标

• 通过引入三维位置知识，解决重复几何模式场景中特征匹配模糊的问题。
• 提升在部分重叠点云匹配中的鲁棒性，尤其在存在遮挡与非刚性形变的非刚性场景中。
• 构建一个统一框架，无需独立架构即可在刚性与非刚性点云匹配中均表现优异。
• 提出新基准 4DMatch 及其低重叠变体 4DLoMatch，用于评估真实动态条件下非刚性点云匹配性能。
• 通过可学习、可微分组件显式建模相对三维位置，克服传统平移不变深度网络的局限性。

提出的方法

• 将点云表征解耦为独立的特征空间与三维位置空间，以分离几何特征与空间上下文。
• 提出一种位置编码方法，通过三维向量表征的点积计算相对三维距离信息。
• 应用重定位模块，调整跨点云间的相对位置，以提升注意力机制与可微分匹配性能。
• 采用基于 Transformer 的架构，结合自注意力与交叉注意力机制，聚合上下文并预测对应关系。
• 利用 Sinkhorn 归一化实现可微分匹配，支持对应关系预测的端到端优化。
• 将预测结果集成至 RANSAC 与 ICP 用于刚性配准，以及集成至非刚性 ICP（N-ICP）用于非刚性配准。

实验结果

研究问题

• RQ1 显式建模三维相对位置信息是否能提升部分重叠点云中的特征匹配性能？
• RQ2 解耦特征与位置表征在刚性与非刚性场景中的匹配精度上会产生何种影响？
• RQ3 统一架构在刚性与非刚性点云匹配基准上的表现，能否显著优于先前方法？
• RQ4 与最先进方法相比，该方法在低重叠与遮挡条件下的表现如何？
• RQ5 可学习的重定位模块是否能增强点云对应学习中的交叉注意力与可微分匹配性能？

主要发现

• 在结合 RANSAC 与 ICP 的情况下，Lepard 在 3DMatch 上实现 93.9% 的配准召回率，在 3DLoMatch 上达到 71.3%，优于先前方法。
• 在新提出的 4DMatch 基准上，Lepard 的非刚性特征匹配召回率比之前最优方法高出 27.1%。
• 在 4DLoMatch 基准上，Lepard 相较于最先进方法，非刚性匹配召回率提升 34.8%。
• 消融实验表明，重定位模块与位置编码方法显著提升性能，尤其在低重叠场景中。
• 在 3DMatch 上，Lepard 在 ICP 优化后，RRE 与 RTE 指标分别达到 1.96° 和 6.0 cm，优于 Predator 模型。
• 在低重叠设置下，当非重叠区域包含相似几何模式时，仍存在失败案例，提示未来工作需进一步解决此挑战。