[论文解读] Correspondence Learning via Linearly-invariant Embedding

Riccardo Marin, Marie‐Julie Rakotosaona+2 more|arXiv (Cornell University)|Oct 25, 2020

3D Shape Modeling and Analysis参考文献 57被引用 4

一句话总结

本文提出了一种完全可微、端到端可训练的框架，用于密集3D点云对应关系学习，通过将固定的拉普拉斯-贝尔特拉米特征函数替换为可学习的、线性不变的嵌入。该方法联合优化数据驱动的基函数和最优描述符函数，通过利用具有额外线性自由度的所学嵌入，提升了鲁棒性，在非刚性对应任务中实现了最先进性能。

ABSTRACT

In this paper, we propose a fully differentiable pipeline for estimating accurate dense correspondences between 3D point clouds. The proposed pipeline is an extension and a generalization of the functional maps framework. However, instead of using the Laplace-Beltrami eigenfunctions as done in virtually all previous works in this domain, we demonstrate that learning the basis from data can both improve robustness and lead to better accuracy in challenging settings. We interpret the basis as a learned embedding into a higher dimensional space. Following the functional map paradigm the optimal transformation in this embedding space must be linear and we propose a separate architecture aimed at estimating the transformation by learning optimal descriptor functions. This leads to the first end-to-end trainable functional map-based correspondence approach in which both the basis and the descriptors are learned from data. Interestingly, we also observe that learning a \emph{canonical} embedding leads to worse results, suggesting that leaving an extra linear degree of freedom to the embedding network gives it more robustness, thereby also shedding light onto the success of previous methods. Finally, we demonstrate that our approach achieves state-of-the-art results in challenging non-rigid 3D point cloud correspondence applications.

研究动机与目标

• 解决基于函数映射的3D对应学习中固定谱基的局限性。
• 在具有挑战性的形变下，提升非刚性3D形状对应关系的鲁棒性和准确性。
• 开发一个端到端可训练的流水线，其中嵌入基函数和描述符函数均从数据中学习。
• 探究学习一个规范嵌入是否有益，或保留在对应学习中保留线性自由度是否能提升性能。

提出的方法

• 该方法用可微的、数据驱动的嵌入网络替代了传统的拉普拉斯-贝尔特拉米特征函数，该网络学习形状函数的基表示。
• 所学嵌入将形状映射到更高维空间，其中最优函数映射被约束为线性。
• 通过一个独立的神经网络学习最优描述符函数，以在嵌入空间中实现精确的对应关系估计。
• 整个流水线是端到端可微的，允许通过反向传播联合优化嵌入和描述符网络。
• 该框架保留了函数映射范式，但通过学习基函数而非依赖固定的谱分解，实现了泛化。
• 该方法显式保留在嵌入中额外的线性自由度，实验证明其可提升鲁棒性。

实验结果

研究问题

• RQ1 使用形状特定的嵌入替代固定的拉普拉斯-贝尔特拉米特征函数，是否能提升非刚性3D形状匹配中的对应关系准确性？
• RQ2 能否构建一个端到端可训练的函数映射框架，其中基函数和描述符均从数据中学习？
• RQ3 规范嵌入（即固定基）在对应关系学习中是否不如具有额外线性自由度的基函数鲁棒？
• RQ4 在具有挑战性的非刚性3D对应基准上，所提方法与最先进方法相比表现如何？
• RQ5 线性不变性特性对所学对应关系的稳定性和泛化能力有何影响？

主要发现

• 所提方法在非刚性3D点云对应基准上实现了最先进性能，优于以往基于函数映射的方法。
• 学习非规范的、线性不变的嵌入比学习规范嵌入能带来更好的鲁棒性和准确性。
• 端到端可微训练方案实现了嵌入基函数和描述符函数的联合优化，提升了对应关系质量。
• 该方法在具有大形变的挑战性非刚性形状上表现出优越的泛化能力，而固定谱基在此类情况下会失效。
• 消融实验证实，在嵌入空间中保留额外的线性自由度能显著提升性能。
• 结果验证了数据驱动的基学习可将函数映射框架超越谱方法的局限。