[论文解读] Deep Spectral Descriptors: Learning the point-wise correspondence metric via Siamese deep neural networks.

Zhiyu Sun, Yusen He+3 more|arXiv (Cornell University)|Oct 17, 2017

3D Shape Modeling and Analysis参考文献 2被引用 10

一句话总结

本文提出深度谱描述子（Deep Spectral Descriptors），一种孪生深度神经网络，可学习一个嵌入空间，其中欧氏距离可直接衡量非等距形状之间的几何不相似性。通过在此学习到的度量空间中微调谱描述子，该方法在非等距形状匹配任务中显著提升了配准精度，超越了传统的谱描述子和当前最先进的基线方法。

ABSTRACT

A robust and informative local shape descriptor plays an important role in mesh registration. In this regard, spectral descriptors that are based on the spectrum of the Laplace-Beltrami operator have gained a spotlight among the researchers for the last decade due to their desirable properties, such as isometry invariance. Despite such, however, spectral descriptors often fail to give a correct similarity measure for non-isometric cases where the metric distortion between the models is large. Hence, they are in general not suitable for the registration problems, except for the special cases when the models are near-isometry. In this paper, we investigate a way to develop shape descriptors for non-isometric registration tasks by embedding the spectral shape descriptors into a different metric space where the Euclidean distance between the elements directly indicates the geometric dissimilarity. We design and train a Siamese deep neural network to find such an embedding, where the embedded descriptors are promoted to rearrange based on the geometric similarity. We found our approach can significantly enhance the performance of the conventional spectral descriptors for the non-isometric registration tasks, and outperforms recent state-of-the-art method reported in literature.

研究动机与目标

• 解决谱描述子在非等距形状配准中的局限性，即较大的度量失真导致相似性度量错误。
• 克服标准谱描述子在等距性被破坏时无法准确捕捉几何不相似性的固有缺陷。
• 构建一个学习到的度量空间，使得嵌入描述子之间的欧氏距离可直接反映几何相似性。
• 训练孪生神经网络，以基于几何相似性的原则重新排列嵌入描述子。
• 在非等距形状对上实现超越传统谱方法和近期最先进方法的配准性能提升。

提出的方法

• 使用孪生深度神经网络架构，将传统谱描述子嵌入到新的度量空间中。
• 采用类似三元组损失的方式训练孪生网络，以最小化相似形状块之间的距离，同时最大化不相似块之间的距离。
• 利用网络学习非线性变换，根据几何相似性重新组织谱描述子。
• 利用学习到的嵌入空间，使得描述子之间的欧氏距离可直接指示几何不相似性。
• 通过对应与非对应形状块的配对进行网络优化，以强化判别性特征学习。
• 确保最终的嵌入描述子对等距变形保持不变，同时对非等距失真保持敏感。

实验结果

研究问题

• RQ1 深度神经网络能否有效学习一个度量空间，使得描述子之间的欧氏距离能真实反映非等距形状中的几何不相似性？
• RQ2 所提出的基于孪生网络的嵌入方法在非等距配准任务中相较于标准谱描述子有何改进？
• RQ3 所学习的描述子空间在具有挑战性的非等距形状匹配基准测试中，相较于现有最先进方法的性能提升程度如何？
• RQ4 该方法是否在保持等距不变性的同时，增强了对非等距失真的敏感性？
• RQ5 该网络能否泛化到具有大度量失真的未见过的形状对？

主要发现

• 所提出的深度谱描述子在非等距形状对上的配准精度显著优于传统的谱描述子。
• 该方法在非等距配准基准测试中超越了文献中报道的近期最先进方法。
• 所学习的嵌入空间成功地将谱描述子转换为一种度量空间，其中欧氏距离可直接指示几何不相似性。
• 孪生网络有效学习了基于几何相似性的描述子重排，即使在大度量失真下也表现良好。
• 该方法在保持等距不变性的同时增强了对非等距形变的敏感性，从而实现了鲁棒的对应学习。
• 当标准谱描述子因高失真而失效时，性能提升尤为显著。