[论文解读] LRF-Net: Learning Local Reference Frames for 3D Local Shape Description and Matching

Angfan Zhu, Jiaqi Yang+2 more|arXiv (Cornell University)|Jan 22, 2020

3D Shape Modeling and Analysis参考文献 20被引用 4

一句话总结

LRF-Net 提出了一种基于弱监督的深度学习方法，通过孪生网络学习三维点云的局部参考帧（LRFs），为邻近点分配学习到的权重，以提升 LRF 的重复性和鲁棒性。该方法在三个公开数据集上优于当前最先进方法，并显著提升了局部形状描述和 6-DoF 姿态估计的性能。

ABSTRACT

The local reference frame (LRF) acts as a critical role in 3D local shape description and matching. However, most of existing LRFs are hand-crafted and suffer from limited repeatability and robustness. This paper presents the first attempt to learn an LRF via a Siamese network that needs weak supervision only. In particular, we argue that each neighboring point in the local surface gives a unique contribution to LRF construction and measure such contributions via learned weights. Extensive analysis and comparative experiments on three public datasets addressing different application scenarios have demonstrated that LRF-Net is more repeatable and robust than several state-of-the-art LRF methods (LRF-Net is only trained on one dataset). In addition, LRF-Net can significantly boost the local shape description and 6-DoF pose estimation performance when matching 3D point clouds.

研究动机与目标

• 为解决手工设计的 LRF 在噪声、杂乱和遮挡下重复性差、鲁棒性弱的问题。
• 以弱监督方式学习 LRF，仅需局部区域之间的对应关系，无需真实 LRF 或姿态标注。
• 通过可学习权重建模每个邻近点对 LRF 构建的独特贡献，提升稳定性与不变性。
• 通过提供更可靠的 LRF，提升下游任务如局部形状描述和 6-DoF 姿态估计的性能。

提出的方法

• LRF-Net 使用孪生网络架构，基于对应关系对，从局部点云区域中弱监督学习 LRF。
• LRF 的 z 轴设为关键点的法向量，以确保旋转不变性与稳定性。
• 对于 x 轴，网络计算邻近点的旋转不变几何特征（角度与距离），并使用多层感知机（MLP）预测每个点的权重。
• x 轴通过使用学习到的权重对投影向量进行加权求和得到，y 轴则通过与 z 轴的叉积推导得出。
• 该方法利用不变几何特征而非原始坐标，以确保旋转不变性并提升泛化能力。
• 网络通过在对应局部区域上使用对比损失进行端到端训练，无需真实 LRF。

实验结果

研究问题

• RQ1 深度学习模型是否能在不依赖真实 LRF 或姿态标注的前提下，学习到比手工设计方法更具重复性与鲁棒性的 LRF？
• RQ2 在噪声与遮挡条件下，学习到的点级权重与启发式加权策略相比，在 LRF 稳定性方面表现如何？
• RQ3 使用旋转不变几何特征而非原始坐标，是否能提升 LRF 估计的鲁棒性与性能？
• RQ4 与最先进 LRF 方法相比，LRF-Net 在局部形状描述与 6-DoF 姿态估计等下游任务中的性能提升程度如何？

主要发现

• 在 BR、UWA3M 和 UWAOR 三个基准数据集上，LRF-Net（Normal + Sum1）在所有方法中实现了最佳的平均余弦相似度（MeanCos）表现。
• 在 BR 数据集上，LRF-Net 在 Normal + Sum1 配置下达到 0.999 的 MeanCos，显著优于其他方法。
• 该方法在旋转下表现出强鲁棒性，无论在 30°、60°、90° 还是 120° 旋转下均保持稳定性能，尤其在使用法向量作为引导时表现更优。
• 随着支持半径增大，LRF-Net 保持稳定性能，而其他方法性能下降，表明其具有更好的统计一致性。
• 可视化结果表明，学习到的权重并不一定在距离更近的点上更高，这挑战了基于 CA 和 PSD 的 LRF 中的传统假设。
• 通过向量求和（Sum1）方式集成学习权重，性能优于最大池化或距离缩减（DR）策略。