[论文解读] Shape correspondences from learnt template-based parametrization

Thibault Groueix, Matthew Fisher+3 more|arXiv (Cornell University)|Jun 13, 2018

3D Shape Modeling and Analysis被引用 2

一句话总结

本文提出了一种用于3D形状对应关系的深度学习方法，通过将形状表示分解为可学习的模板和映射模板到输入形状的特征向量。通过回归特征向量并利用Chamfer距离最小化进行优化，该方法在FAUST基准测试中实现了2.88厘米的平均误差，性能优于先前的方法，尤其在真实扫描和非人类形状上表现更优。

ABSTRACT

We present a new deep learning approach for matching deformable shapes by using a model which jointly encodes 3D shapes and correspondences. This is achieved by factoring the surface representation into (i) a template, that parameterizes the surface, and (ii) a learnt feature vector that parameterizes the function which transforms the template into the input surface. We show that our network can directly predict the feature vector and thus correspondences for a new input shape, but also that correspondence quality can be significantly improved by an additional regression step. This additional step improves the shape feature vector by minimizing the Chamfer distance between the input and parameterized shape. We show that this produces both a better shape representation and better correspondences. We demonstrate that our simple approach improves state of the art results on the difficult FAUST inter challenge, with an average correspondence error of 2.88cm. We also show results on the real scans from the SCAPE dataset and the synthetically perturbed shapes from the TOSCA dataset, including non-human shapes.

研究动机与目标

• 提升在大范围非刚性形变下可变形形状的3D形状对应关系性能。
• 开发一种联合表示方法，同时编码形状几何结构与对应关系。
• 通过可学习的特征向量实现对应关系的直接预测，同时支持优化以提升精度。
• 在包括真实扫描和经合成扰动的形状在内的多样化数据集上展示鲁棒性。

提出的方法

• 该方法将3D形状分解为固定模板和可学习的特征向量，后者用于参数化从模板到输入形状的形变。
• 通过深度神经网络直接从输入形状预测特征向量，实现端到端的对应关系预测。
• 增加一个回归步骤，通过最小化输入形状与由模板和预测特征向量重建形状之间的Chamfer距离来优化结果。
• 通过优化特征向量，该优化步骤同时提升了形状表示质量和对应关系的精度。
• 该方法采用可微分的参数化方式，支持基于梯度的特征向量优化。

实验结果

研究问题

• RQ1 可学习模板的参数化方法是否能在非刚性形状上实现优于现有深度学习方法的对应关系精度？
• RQ2 通过Chamfer距离最小化对预测特征向量进行优化，如何影响对应关系质量与形状表示？
• RQ3 该方法是否能泛化到标准基准测试之外的真实扫描和非人类形状？
• RQ4 通过模板和特征向量联合编码形状与对应关系，是否能提升对形变的鲁棒性？

主要发现

• 该方法在具有挑战性的FAUST跨挑战数据集上实现了2.88厘米的最先进平均对应误差。
• 额外的回归步骤通过使用Chamfer距离优化预测的特征向量，显著提升了对应关系质量。
• 该方法在SCAPE数据集的真实扫描上表现出色，展示了对噪声和测量伪影的鲁棒性。
• 该方法在TOSCA数据集的合成扰动形状上（包括非人类形状）也生成了高质量的对应关系。