[论文解读] Latent feature disentanglement for 3D meshes

Jake Levinson, Avneesh Sud+1 more|arXiv (Cornell University)|Jun 7, 2019

3D Shape Modeling and Analysis参考文献 57被引用 4

一句话总结

本文提出了一种基于网格卷积变分自编码器的监督生成式3D网格模型，该模型在潜在空间中显式解耦形状与姿态因素。通过在具有受控变化的合成和真实数据集上进行训练，该模型在解耦生成、姿态与形状迁移、时间同步以及姿态不变匹配等任务上均表现出色，即使未进行特定任务的微调，其性能也优于基线模型。

ABSTRACT

Generative modeling of 3D shapes has become an important problem due to its relevance to many applications across Computer Vision, Graphics, and VR. In this paper we build upon recently introduced 3D mesh-convolutional Variational AutoEncoders which have shown great promise for learning rich representations of deformable 3D shapes. We introduce a supervised generative 3D mesh model that disentangles the latent shape representation into independent generative factors. Our extensive experimental analysis shows that learning an explicitly disentangled representation can both improve random shape generation as well as successfully address downstream tasks such as pose and shape transfer, shape-invariant temporal synchronization, and pose-invariant shape matching.

研究动机与目标

• 开发一种能够学习形状与姿态因素解耦表征的生成式3D网格模型。
• 通过潜在空间中生成因子的显式解耦，实现用户可控的形状操作。
• 利用解耦表征提升下游任务（如姿态迁移、时间同步与形状匹配）的性能。
• 通过在训练过程中对生成因子施加显式监督，克服无监督解耦方法的局限性。
• 通过引入畸变敏感损失函数与改进的潜在采样策略，提升形状生成的真实感与鲁棒性。

提出的方法

• 在包含受控形状与姿态变化的大规模数据集上训练网格卷积VAE，使用合成与真实3D网格数据。
• 在训练过程中引入显式监督，将特定潜在因子与可观测的形状与姿态变化相关联。
• 引入畸变敏感损失项，以提升生成网格的几何真实感。
• 采用替代的潜在采样策略，缓解过参数化问题，提升潜在空间效率。
• 通过组合来自不同源网格的解耦潜在属性（如一个网格提供形状，另一个提供姿态），实现解耦生成。
• 利用L²距离计算潜在姿态编码之间的动态时间规整（DTW），实现运动序列的时间同步。

实验结果

研究问题

• RQ1 与无监督方法相比，对生成因子施加显式监督是否能带来更优的3D网格生成解耦效果？
• RQ2 解耦的潜在表征是否能提升下游任务（如姿态与形状迁移）的性能？
• RQ3 解耦的潜在空间是否能有效实现未对齐运动序列的时间同步？
• RQ4 解耦对姿态不变的形状匹配与识别有何影响？
• RQ5 解耦在多大程度上提升了形状生成的泛化能力与鲁棒性？

主要发现

• 即使未进行任务特定微调，该解耦模型在姿态与形状迁移任务上仍优于直接微调的基线模型。
• 模型在形状识别任务中表现优异，仅使用形状编码即可在top-1匹配中正确识别50%的网格，在top-3匹配中正确识别66%的网格。
• 潜在空间插值生成了语义合理且真实的姿态过渡，避免了直接顶点空间插值中常见的网格畸变。
• 该模型成功利用潜在姿态编码距离与DTW算法，实现了Faust数据集上未对齐运动序列的时间同步。
• 尽管部分训练模式导致潜在空间出现纠缠现象，但主模型在训练与推理过程中均实现了稳定的解耦。
• 与架构与容量完全相同的普通VAE相比，该解耦模型取得了更优的性能，验证了解耦表征的有效性。