[论文解读] Fully Convolutional Graph Neural Networks for Parametric Virtual Try-On

Raquel Vidaurre, Igor Santesteban+2 more|arXiv (Cornell University)|Sep 9, 2020

3D Shape Modeling and Analysis参考文献 64被引用 4

一句话总结

该论文提出了一种全卷积图神经网络（FCGNN），用于参数化虚拟试穿，可泛化于任意服装拓扑结构、体型和材质。通过将形变解耦为服装类型、体型和材质三个独立因素，该方法实现了71MB模型大小下的实时、高保真3D垂感预测，相比全连接基线模型在泛化能力和内存效率方面表现更优。

ABSTRACT

We present a learning-based approach for virtual try-on applications based on a fully convolutional graph neural network. In contrast to existing data-driven models, which are trained for a specific garment or mesh topology, our fully convolutional model can cope with a large family of garments, represented as parametric predefined 2D panels with arbitrary mesh topology, including long dresses, shirts, and tight tops. Under the hood, our novel geometric deep learning approach learns to drape 3D garments by decoupling the three different sources of deformations that condition the fit of clothing: garment type, target body shape, and material. Specifically, we first learn a regressor that predicts the 3D drape of the input parametric garment when worn by a mean body shape. Then, after a mesh topology optimization step where we generate a sufficient level of detail for the input garment type, we further deform the mesh to reproduce deformations caused by the target body shape. Finally, we predict fine-scale details such as wrinkles that depend mostly on the garment material. We qualitatively and quantitatively demonstrate that our fully convolutional approach outperforms existing methods in terms of generalization capabilities and memory requirements, and therefore it opens the door to more general learning-based models for virtual try-on applications.

研究动机与目标

• 解决现有数据驱动虚拟试穿方法在固定服装拓扑结构和网格结构下的泛化能力有限的问题。
• 通过单一统一模型实现实时3D服装垂感预测，适用于任意参数化服装类型和体型。
• 解耦并学习三种不同的形变来源：服装类型、目标体型和材料相关的褶皱。
• 通过用全卷积图神经网络架构替代全连接层，减小模型大小并提升推理效率。
• 通过微调专用组件实现新材质的迁移学习，避免完整的重新训练。

提出的方法

• 该方法使用参数化服装设计空间，生成具有任意网格拓扑结构的多样化2D版型服装。
• 采用类似U-Net的FCGNN架构，结合图卷积层处理不规则网格数据，保留空间和拓扑关系。
• 该流程将形变学习解耦为三个阶段：基于平均体型的粗略垂感预测、拓扑感知的网格精化，以及基于材料的细粒度褶皱预测。
• 在网格图上应用一种新型图卷积算子，实现对可变尺寸输入的高效、参数高效的处理。
• 模型在大规模物理模拟数据集上进行训练，包含在多样化参数化体型上垂感的服装。
• 对最终网络头进行微调，可实现对新材质的适应，而无需完整重新训练。

实验结果

研究问题

• RQ1 全卷积图神经网络是否能在虚拟试穿中泛化于任意服装拓扑结构和网格结构？
• RQ2 对服装类型、体型和材料形变的解耦学习如何提升泛化能力和效率？
• RQ3 所提方法是否能在保持高视觉保真度的垂感和褶皱预测的同时实现实时推理？
• RQ4 与全连接基线相比，FCGNN在内存和参数效率方面表现如何？
• RQ5 通过微调，该模型在未见服装类型、体型和材质上的泛化程度如何？

主要发现

• 所提出的FCGNN模型大小仅为71MB，显著小于167MB的全连接基线模型，展现出更优的内存效率。
• 该方法可泛化至未见过的服装类型、拓扑结构和体型，包括长裙、衬衫和紧身上衣等，而先前方法受限于单一网格拓扑结构。
• 定性结果表明，褶皱和折痕具有真实的材质依赖性，且随体型和服装类型自然变化，即使在未见组合下亦然。
• 该方法在泛化能力上优于最先进基线模型，在已训练服装类型上表现相当，而在未见类型上表现更优。
• 对最终网络头进行微调可有效适应新材质，避免昂贵的完整重新训练。
• 该模型实现了交互式推理速度，支持实时虚拟试穿应用。