[论文解读] 3D-CODED : 3D Correspondences by Deep Deformation

Thibault Groueix, Matthew Fisher+3 more|HAL (Le Centre pour la Communication Scientifique Directe)|Jun 13, 2018

3D Shape Modeling and Analysis参考文献 46被引用 7

一句话总结

本文提出3D-CODED，一种通过基于模板的形变网络学习3D形状对应关系的深度学习框架。通过将形状编码为可学习的全局特征并将其形变至共享模板，该方法在FAUST-inter数据集上实现了2.88厘米的平均误差，达到当前最优性能，即使在未使用显式对应关系监督的情况下进行训练亦如此。

ABSTRACT

We present a new deep learning approach for matching deformable shapes by introducing {\it Shape Deformation Networks} which jointly encode 3D shapes and correspondences. This is achieved by factoring the surface representation into (i) a template, that parameterizes the surface, and (ii) a learnt global feature vector that parameterizes the transformation of the template into the input surface. By predicting this feature for a new shape, we implicitly predict correspondences between this shape and the template. We show that these correspondences can be improved by an additional step which improves the shape feature by minimizing the Chamfer distance between the input and transformed template. We demonstrate that our simple approach improves on state-of-the-art results on the difficult FAUST-inter challenge, with an average correspondence error of 2.88cm. We show, on the TOSCA dataset, that our method is robust to many types of perturbations, and generalizes to non-human shapes. This robustness allows it to perform well on real unclean, meshes from the the SCAPE dataset.

研究动机与目标

• 解决在噪声和低分辨率条件下，对人类和动物等非刚性可变形形状建立可靠3D形状对应关系的挑战。
• 克服传统方法依赖手工设计模板、复杂目标函数以及易陷入局部极小值的局部优化所带来的局限性。
• 开发一种统一的、端到端的深度学习框架，联合学习形状编码与形变过程，降低对领域特定先验知识的依赖。
• 展示在真实世界中不洁网格上的泛化能力，以及对各种扰动（包括非人类形状和复杂姿态）的鲁棒性。
• 探索无需显式对应关系监督的训练方式，从而能够利用大规模弱监督数据集。

提出的方法

• 提出形状形变网络，将3D形状分解为共享模板与一个全局特征向量，该向量编码从模板到输入形状的形变过程。
• 采用编码器-解码器架构：编码器将输入形状映射为全局特征向量，解码器（形变网络）利用该向量将模板形变以匹配输入形状。
• 通过可微分的优化步骤提升对应质量，即通过梯度下降最小化形变模板与输入形状之间的Chamfer距离。
• 使用简单的重建损失（Chamfer距离）进行网络训练，并可选地添加正则化项以鼓励映射的平滑性与规律性。
• 通过数据增强（旋转输入形状）或训练旋转等变网络实现旋转不变性。
• 利用大规模合成数据集（如SURREAL）提升泛化能力，尤其针对稀有或分布外的姿态。

实验结果

研究问题

• RQ1 深度学习模型是否能够在无显式对应关系监督的情况下学习到一致的3D形状对应关系？
• RQ2 与传统内在或功能方法相比，基于模板的形变方法在非刚性形状匹配中的有效性如何？
• RQ3 单一共享模板在多样化姿态和形状（包括非人类形态）上的泛化能力有多强？
• RQ4 使用简单重建损失进行端到端训练是否优于需要复杂多目标函数的方法？
• RQ5 在缺乏监督的情况下，正则化项在多大程度上能提升对应质量？

主要发现

• 3D-CODED在FAUST-inter基准测试中实现了2.88厘米的最先进平均对应误差，优于先前方法。
• 该方法在SCAPE数据集中真实且不洁的网格上表现出良好的泛化能力，证明了其对噪声和不规则采样的鲁棒性。
• 在无对应关系监督下进行训练时，FAUST-inter上的误差为4.88厘米，与Deep Functional Map（4.83厘米）相当，证明了弱监督的有效性。
• 通过在训练数据中引入多样化姿态（如弯腰的人体）显著提升了对分布外测试形状的性能。
• 通过梯度下降最小化Chamfer距离的优化步骤显著提升了对应精度，即使初始预测质量较差亦如此。
• 在无监督训练中，表面正则化至关重要：若无正则化，即使点云预测合理，网格仍会出现明显失真。