[论文解读] M2E-Try On Net: Fashion from Model to Everyone

Zhonghua Wu, Guosheng Lin+2 more|arXiv (Cornell University)|Nov 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 21

一句话总结

M2E-Try On Net (M2E-TON) 通过从模特图像到用户照片的服装迁移，实现了无需清洁产品图像的逼真虚拟试穿。它采用一种自监督的、成对与非成对数据联合训练方案，包含三个组件——姿态对齐网络（PAN）、纹理优化网络（TRN）和贴合网络（FTN），分别用于姿态对齐、纹理增强和服装无缝贴合，在用户研究中实现了 83.7% 的偏好率，达到当前最先进水平。

ABSTRACT

Most existing virtual try-on applications require clean clothes images. Instead, we present a novel virtual Try-On network, M2E-Try On Net, which transfers the clothes from a model image to a person image without the need of any clean product images. To obtain a realistic image of person wearing the desired model clothes, we aim to solve the following challenges: 1) non-rigid nature of clothes - we need to align poses between the model and the user; 2) richness in textures of fashion items - preserving the fine details and characteristics of the clothes is critical for photo-realistic transfer; 3) variation of identity appearances - it is required to fit the desired model clothes to the person identity seamlessly. To tackle these challenges, we introduce three key components, including the pose alignment network (PAN), the texture refinement network (TRN) and the fitting network (FTN). Since it is unlikely to gather image pairs of input person image and desired output image (i.e. person wearing the desired clothes), our framework is trained in a self-supervised manner to gradually transfer the poses and textures of the model's clothes to the desired appearance. In the experiments, we verify on the Deep Fashion dataset and MVC dataset that our method can generate photo-realistic images for the person to try-on the model clothes. Furthermore, we explore the model capability for different fashion items, including both upper and lower garments.

研究动机与目标

• 仅使用模特图像和用户图像实现虚拟试穿，消除对清洁产品图像的需求。
• 解决非刚性服装形变、纹理保持以及身份外观一致性等挑战。
• 开发一种自监督训练框架，利用非成对和成对数据以提升真实感。
• 生成保留细节和服装特征的逼真虚拟试穿结果。
• 在无需 3D 数据或成对标注的情况下，实现电子商务和社交媒体中的实用化虚拟试穿应用。

提出的方法

• 姿态对齐网络（PAN）通过密集姿态估计和几何变形，将模特的姿态对齐至目标人物的姿态。
• 纹理优化网络（TRN）利用姿态条件生成对抗网络（GAN），增强变形后模特图像中的细节、标志和纹理。
• 贴合网络（FTN）在保留身份和身体轮廓的前提下，将优化后的服装无缝融合到目标人物图像中。
• 提出一种新颖的非成对-成对联合训练策略，结合同一人在不同姿态下的成对图像的自监督学习与非成对数据的无监督学习。
• 姿态条件生成对抗网络判别器通过惩罚生成图像与目标姿态之间的错位，强制保持姿态一致性。
• 该框架仅以模特图像和目标人物图像作为输入，端到端进行训练，完全不需要清洁产品图像。

实验结果

研究问题

• RQ1 能否通过直接从模特图像迁移服装，实现无需清洁产品图像的虚拟试穿？
• RQ2 在服装迁移过程中，如何有效解决模特与用户之间姿态错位的问题？
• RQ3 在非刚性服装形变过程中，能否有效保留如标志和图案等纹理细节？
• RQ4 当成对数据稀缺时，成对图像上的自监督学习如何提升模型性能？
• RQ5 该方法的失败模式是什么，特别是在复杂服装图案情况下？

主要发现

• 所提出的 M2E-TON 在人类评估中获得了 83.7% 的用户偏好率，显著优于基线模型如 VITON（8.5%）和 CP-VTON（7.0%）。
• PAN 中的姿态条件 GAN 有效对齐了姿态，相比标准的局部 GAN，显著减少了姿态错位伪影。
• TRN 显著提升了纹理保真度，在形变后仍能保留标志和精细图案。
• 该方法在多种时尚单品上表现良好，包括上衣和下装，已在 Deep Fashion 和 MVC 数据集上得到验证。
• 失败案例通常出现在模特服装含有头部图案时，网络可能将这些图案误判为人体头部。
• 非成对-成对联合训练方案在无需昂贵成对训练数据的情况下，实现了高真实感。