[论文解读] PPF-FoldNet: Unsupervised Learning of Rotation Invariant 3D Local Descriptors

Haowen Deng, Tolga Birdal+1 more|arXiv (Cornell University)|Aug 30, 2018

3D Shape Modeling and Analysis参考文献 40被引用 18

一句话总结

PPF-FoldNet 提出了一种无监督、旋转不变的 3D 局部描述符网络，通过点对特征（PPFs）和基于折叠的自编码器，直接从原始点云中学习具有区分性、稀疏性且排列不变的特征。尽管无需监督或参考帧，其性能仍达到最先进水平，在标准基准测试中召回率比竞争对手高出 9%，在点云密度降低时更是超过 35%。

ABSTRACT

We present PPF-FoldNet for unsupervised learning of 3D local descriptors on pure point cloud geometry. Based on the folding-based auto-encoding of well known point pair features, PPF-FoldNet offers many desirable properties: it necessitates neither supervision, nor a sensitive local reference frame, benefits from point-set sparsity, is end-to-end, fast, and can extract powerful rotation invariant descriptors. Thanks to a novel feature visualization, its evolution can be monitored to provide interpretable insights. Our extensive experiments demonstrate that despite having six degree-of-freedom invariance and lack of training labels, our network achieves state of the art results in standard benchmark datasets and outperforms its competitors when rotations and varying point densities are present. PPF-FoldNet achieves $9\%$ higher recall on standard benchmarks, $23\%$ higher recall when rotations are introduced into the same datasets and finally, a margin of $>35\%$ is attained when point density is significantly decreased.

研究动机与目标

• 解决点云几何中缺乏鲁棒且具有区分性的 3D 局部描述符的问题，且无需监督或参考帧。
• 克服现有深度学习方法在 3D 特征学习中的局限性，包括对 6-DoF 变换的敏感性以及对手工设计预处理的依赖。
• 开发一种快速、端到端且可解释的网络，能够在不同点云密度和任意旋转下实现良好泛化。
• 仅利用稀疏点集的几何结构，实现无监督学习强大且旋转不变的局部特征。

提出的方法

• 使用 4D 点对特征（PPFs）表示局部 3D 几何结构，编码点对之间的相对位置和法线信息。
• 采用基于 PointNet 的编码器将 PPF 压缩为低维码字，确保排列不变性并具备对稀疏性的感知能力。
• 使用受 FoldingNet 启发的解码器，通过将 2D 网格折叠到 4D PPF 空间，从码字重建原始 PPF。
• 通过集合距离损失端到端训练自编码器，实现在无需成对或三元组标注的情况下进行无监督学习。
• 提出一种新颖的无损 PPF 空间可视化方法，用于监控训练过程并解释特征演化。
• 应用 T-SNE 可视化学习到的潜在空间，证明基于几何相似性的码字呈现语义聚类。

实验结果

研究问题

• RQ1 仅在 PPF 上进行训练的深度自编码器能否在无任何监督的情况下学习到旋转不变的 3D 局部描述符？
• RQ2 与有监督及对旋转敏感的基线方法相比，该网络在任意 6-DoF 变换和不同点云密度下的表现如何？
• RQ3 所学习的描述符在不同片段和几何构型下的泛化能力有多强？
• RQ4 网络内部的 PPF 空间表示能否以一种揭示训练过程中有意义结构演化的可视化方式呈现？

主要发现

• 在标准 3D 基准数据集的标准条件下，PPF-FoldNet 的召回率比最先进方法高出 9%。
• 当测试数据中引入任意旋转时，PPF-FoldNet 的召回率比最接近的竞争对手高出 23%。
• 在点云密度显著降低的情况下，PPF-FoldNet 的召回率比现有方法高出超过 35%。
• 通过 T-SNE 可视化的网络潜在空间显示，语义和几何上相似的局部区域被编码在相近位置，证实了有意义的特征学习。
• 新颖的 PPF 可视化结果表明，即使从随机初始化开始，网络也能忠实地重建 PPF 特征签名，并实现快速收敛。
• 定性匹配结果表明，PPF-FoldNet 发现的正确对应点数量多于所有其他方法，尤其在严重变换下表现更优。