[论文解读] Dressing 3D Humans using a Conditional Mesh-VAE-GAN.

Qianli Ma, Siyu Tang+4 more|arXiv (Cornell University)|Jul 31, 2019

3D Shape Modeling and Analysis参考文献 56被引用 9

一句话总结

该论文提出了一种条件化的Mesh-VAE-GAN，通过从穿衣服的人体3D扫描中学习，能够在SMPL人体网格上生成多样化且逼真的3D服装。该方法基于服装类型和姿态进行条件控制，能够在新姿态下合成不同类型的服装，同时保持全局形状和局部结构，这是首个用于3D网格的条件化VAE-GAN，也是首个直接用于3D网格穿衣的通用化服装生成模型。

ABSTRACT

Three-dimensional human body models are widely used in the analysis of human pose and motion. Existing models, however, are learned from minimally-clothed humans and thus do not capture the complexity of dressed humans in common images and videos. To address this, we learn a generative 3D mesh model of clothing from 3D scans of people with varying pose. Going beyond previous work, our generative model is conditioned on different clothing types, giving the ability to dress different body shapes in a variety of clothing. To do so, we train a conditional Mesh-VAE-GAN on clothing displacements from a 3D SMPL body model. This generative clothing model enables us to sample various types of clothing, in novel poses, on top of SMPL. With a focus on clothing geometry, the model captures both global shape and local structure, effectively extending the SMPL model to add clothing. To our knowledge, this is the first conditional VAE-GAN that works on 3D meshes. For clothing specifically, it is the first such model that directly dresses 3D human body meshes and generalizes to different poses.

研究动机与目标

• 解决缺乏从常见图像和视频中捕捉真实服装的3D人体模型的问题。
• 学习一种可泛化于不同体型和姿态的3D服装网格生成模型。
• 开发一种条件化生成模型，可在SMPL网格上合成多种类型的服装。
• 通过建模从基础人体形状出发的服装位移，将真实、几何感知的服装扩展至SMPL模型。
• 构建首个专为3D网格数据设计的条件化VAE-GAN框架，实现可控且多样化的服装生成。

提出的方法

• 模型在穿衣服的人体3D扫描数据上进行训练，学习相对于SMPL人体模型的服装位移。
• 采用条件化Mesh-VAE-GAN架构，其中生成器学习在给定服装类型和姿态的条件下生成3D网格形变。
• VAE组件学习服装几何的解耦潜在表征，同时捕捉全局形状与局部细节。
• GAN组件通过对抗性训练提升生成结果的逼真度，判别器用于区分真实与生成的服装网格。
• 模型基于SMPL人体参数（体型与姿态）及服装类别进行条件控制，生成多样化、姿态泛化的服装。
• 该框架直接输出可叠加于SMPL人体上新姿态的3D网格服装，无需对每个新姿态重新训练。

实验结果

研究问题

• RQ1 条件化生成模型是否能够学习在SMPL人体网格上生成多样化、逼真的3D服装，且适用于不同姿态？
• RQ2 VAE-GAN框架是否可有效适配于3D网格数据，以建模复杂的服装几何与结构？
• RQ3 对服装类型与人体姿态的条件控制是否能实现对未见体型与服装组合的泛化？
• RQ4 该模型能否生成既保持全局形态又保留局部细节（如褶皱与垂坠）的服装？
• RQ5 是否能够通过基于3D网格的生成建模，构建一个可微分、可控的服装生成机制，以扩展SMPL模型？

主要发现

• 所提出的条件化Mesh-VAE-GAN成功在SMPL人体上生成了多样化、逼真的3D服装，覆盖多种姿态与服装类型。
• 该模型同时捕捉了服装的全局形态与精细的局部结构（如褶皱与折痕），显著提升了真实感。
• 该框架可泛化至训练过程中未见过的新体型与新姿态，展现出强大的零样本泛化能力。
• 该模型是首个专为3D网格数据设计的条件化VAE-GAN，实现了可控且解耦的服装生成。
• 该方法可直接为3D人体网格添加服装，无需为每个新姿态重新训练或优化，实现了高效的推理。
• 该方法有效扩展了SMPL模型，增加了真实、几何感知的服装组件，同时保持了结构保真度。