[论文解读] Variational Autoencoders for Deforming 3D Mesh Models

Qingyang Tan, Lin Gao+2 more|arXiv (Cornell University)|Sep 13, 2017

3D Shape Modeling and Analysis参考文献 47被引用 7

一句话总结

本文提出了一种网格变分自编码器（mesh VAE），这是一种深度生成模型，通过使用旋转不变的网格差异（RIMD）特征和带有均方误差（MSE）重建损失的全连接网络，学习用于形变3D网格的概率性、解耦的潜在空间。该方法实现了高质量的形状生成、插值与探索，在最小训练数据条件下，其在形状空间嵌入与合成方面优于最先进方法。

ABSTRACT

3D geometric contents are becoming increasingly popular. In this paper, we study the problem of analyzing deforming 3D meshes using deep neural networks. Deforming 3D meshes are flexible to represent 3D animation sequences as well as collections of objects of the same category, allowing diverse shapes with large-scale non-linear deformations. We propose a novel framework which we call mesh variational autoencoders (mesh VAE), to explore the probabilistic latent space of 3D surfaces. The framework is easy to train, and requires very few training examples. We also propose an extended model which allows flexibly adjusting the significance of different latent variables by altering the prior distribution. Extensive experiments demonstrate that our general framework is able to learn a reasonable representation for a collection of deformable shapes, and produce competitive results for a variety of applications, including shape generation, shape interpolation, shape space embedding and shape exploration, outperforming state-of-the-art methods.

研究动机与目标

• 解决在存在大规模非线性形变的情况下，为形变3D网格集合学习有意义的、低维表示的挑战。
• 开发一种深度生成模型，能够合成训练数据中未出现过的新型、合理的3D网格形状。
• 通过学习解耦的、可解释的形状变化因素，实现灵活的形状空间探索与插值。
• 通过使用基于网格的、旋转不变的特征表示，避免网格畸变，克服CNN在3D网格上的局限性。
• 提供一个统一框架，其在形状生成、插值与嵌入任务中的表现优于专门设计的方法。

提出的方法

• 该框架使用RIMD（旋转不变网格差异）以平移与旋转不变的方式表示3D网格形状。
• 采用全连接神经网络作为编码器与解码器，并使用均方误差（MSE）作为重建损失，以保留几何细节。
• 通过变分推断学习潜在变量的后验分布，实现基于随机采样的形状生成。
• 扩展模型在先验分布中引入可调节的方差参数，以控制不同潜在维度的重要性。
• 通过为对应于显著形状变化（如姿势或体型）的维度分配更高方差，实现潜在空间的解耦。
• 模型在具有相同连接性的网格上端到端训练，即使在小样本数据下也能实现有效的表征学习。

实验结果

研究问题

• RQ1 变分自编码器能否有效学习形变3D网格集合的解耦、低维潜在空间？
• RQ2 所提出的mesh VAE在生成训练集中未包含的新型、高保真度3D网格形状方面表现如何？
• RQ3 通过操纵单个潜在维度，该模型能否支持有意义的形状插值与探索？
• RQ4 具有可调节先验方差的扩展模型是否能提升所学形状因子的可解释性与控制能力？
• RQ5 在形状空间嵌入与检索任务中，mesh VAE与最先进方法相比表现如何？

主要发现

• 在形状空间嵌入任务中，mesh VAE表现优异，检索任务的AUC达到0.5168，优于PCA（0.2272）、t-SNE（0.4961）和NPE（0.1391）。
• 该模型成功在一个潜在维度中捕捉到多种形变模式，实现了非线性、多模态的形状表征。
• 潜在空间浏览揭示了可解释的控制能力：前两个维度控制整体姿势（如站立到下蹲），第三个维度控制手臂高度，第四个维度控制身体旋转。
• 具有可调节先验方差的扩展模型允许用户通过为对应维度分配更高方差，优先控制关键形状变化（如体型或姿势）。
• 该框架即使在有限数据下，也能生成高质量、细节丰富的3D网格模型，几何保真度高。
• 该方法在形状生成、插值与形状空间探索方面优于专门设计的最先进方法，证明了其通用性与有效性。