[论文解读] Deep Shells: Unsupervised Shape Correspondence with Optimal Transport

Marvin Eisenberger, Aysim Toker+2 more|arXiv (Cornell University)|Oct 28, 2020

3D Shape Modeling and Analysis参考文献 42被引用 31

一句话总结

本文提出 Deep Shells，一种无监督的三维形状对应方法，将熵正则化的最优传输与多尺度、可微分的流程以及谱 CNN 特征相结合，以学习良好的初始化并端到端地细化对应关系。它在 FAUST/SCAPE 上达到最先进的性能，无需后处理并且能泛化到未见数据。

ABSTRACT

We propose a novel unsupervised learning approach to 3D shape correspondence that builds a multiscale matching pipeline into a deep neural network. This approach is based on smooth shells, the current state-of-the-art axiomatic correspondence method, which requires an a priori stochastic search over the space of initial poses. Our goal is to replace this costly preprocessing step by directly learning good initializations from the input surfaces. To that end, we systematically derive a fully differentiable, hierarchical matching pipeline from entropy regularized optimal transport. This allows us to combine it with a local feature extractor based on smooth, truncated spectral convolution filters. Finally, we show that the proposed unsupervised method significantly improves over the state-of-the-art on multiple datasets, even in comparison to the most recent supervised methods. Moreover, we demonstrate compelling generalization results by applying our learned filters to examples that significantly deviate from the training set.

研究动机与目标

• 用来自输入曲面的学习初始化替代光滑外壳中代价高昂的先验姿态初始化。
• 开发一个基于熵正则化最优传输的可微分分层匹配流水线。
• 引入基于光滑谱卷积滤波的局部特征提取器以细化对应关系。
• 实现端到端训练，在无需监督的情况下平衡外在和内在几何信息。

提出的方法

• 使用内在与外在特征将输入形状嵌入乘积空间。
• 将匹配表述为带模糊对应 π 的熵正则化 OT，以实现可微分性。
• 在神经网络框架内高效地使用 Sinkhorn 迭代来优化 π。
• 在交替优化循环中通过可微分最小二乘学习变形系数 C 和 τ。
• 对 SHOT 描述子应用谱平滑、截断的谱卷积滤波以生成经细化的局部特征。
• 端到端训练，使用无监督损失来衡量配对形状之间的对齐紧密度。

实验结果

研究问题

• RQ1 无监督、基于 OT、可微的匹配流水线在不存在预先计算的初始化时，能否产生高质量的形状对应？
• RQ2 学习到的多尺度初始化和谱特征是否提升对非等距变形和离散化差异的鲁棒性？
• RQ3 在标准基准（FAUST、SCAPE）上，Deep Shells 框架对比最先进的公理化和学习方法的表现如何？
• RQ4 学习到的滤波器是否能在训练中未见的数据集之间实现跨数据集泛化？

主要发现

• 所提出的方法在 FAUST 和 SCAPE 上超越了最先进水平，包括与有监督方法的比较。
• 该框架在不需要昂贵的预处理或后处理的情况下实现了具竞争力甚至优越的共形映射质量。
• 泛化结果表明学习到的滤波器可迁移到离散化和几何形状不同的未见数据集。
• 基于 OT 的无监督损失训练即使在训练数据有限的情况下也能产生鲁棒的对应关系。
• 该方法显示出强大的数据集间泛化能力，在将学习到的滤波器应用于不同形状集合时保持性能。