[论文解读] LGVTON: A Landmark Guided Approach to Virtual Try-On

Debapriya Basu Roy, Sanchayan Santra+1 more|arXiv (Cornell University)|Apr 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 7

一句话总结

LGVTON 提出了一种基于地标引导的虚拟试穿方法，仅使用人物和模特的图像即可生成穿着模特服装的逼真图像，无需单独的服装图像。该方法利用人体和时尚地标引导薄板样条（TPS）变形步骤，随后通过掩码生成器和图像合成器进行精细化处理，在 MPV 和 DeepFashion 数据集上实现了最先进性能，FID 分数更低，SSIM 分数更高。

ABSTRACT

In this paper, we propose a Landmark Guided Virtual Try-On (LGVTON) method for clothes, which aims to solve the problem of clothing trials on e-commerce websites. Given the images of two people: a person and a model, it generates a rendition of the person wearing the clothes of the model. This is useful considering the fact that on most e-commerce websites images of only clothes are not usually available. We follow a three-stage approach to achieve our objective. In the first stage, LGVTON warps the clothes of the model using a Thin-Plate Spline (TPS) based transformation to fit the person. Unlike previous TPS-based methods, we use the landmarks (of human and clothes) to compute the TPS transformation. This enables the warping to work independently of the complex patterns, such as stripes, florals, and textures, present on the clothes. However, this computed warp may not always be very precise. We, therefore, further refine it in the subsequent stages with the help of a mask generator (Stage 2) and an image synthesizer (Stage 3) modules. The mask generator improves the fit of the warped clothes, and the image synthesizer ensures a realistic output. To tackle the problem of lack of paired training data, we resort to a self-supervised training strategy. Here paired data refers to the image pair of model and person wearing the same cloth. We compare LGVTON with four existing methods on two popular fashion datasets namely MPV and DeepFashion using two performance measures, FID (Fréchet Inception Distance) and SSIM (Structural Similarity Index). The proposed method in most cases outperforms the state-of-the-art methods.

研究动机与目标

• 解决电商业务中虚拟试穿的挑战，即通常无法获取单独的服装图像，仅依赖模特和人物图像。
• 在存在条纹、花卉等复杂纹理时，提升服装变形的准确性，此类纹理会降低现有方法的性能。
• 克服先前基于 TPS 的变形方法依赖特征匹配的局限性，这些方法无法保留服装细节和贴合度。
• 开发一种自监督训练策略，以缓解虚拟试穿任务中成对训练数据（同一服装的模特-人物配对）缺乏的问题。
• 通过掩码生成器和图像合成器模块对变形后的服装进行精细化处理，实现逼真且无伪影的虚拟试穿结果。

提出的方法

• 使用人体身体地标（如关节）和时尚地标（如领口、下摆）作为控制点，计算薄板样条（TPS）变换，以将模特的服装变形适配到目标人物的体型和姿态。
• 应用姿态引导变形模块（PGWM），利用地标对应关系生成初始变形服装图像，确保在条纹、花卉等复杂图案下仍具鲁棒性。
• 采用基于编码器-解码器结构的小时钟卷积神经网络（hourglass CNN）架构的掩码生成器模块（MGM），以优化变形后的服装掩码，提升对齐精度并处理遮挡或形变问题。
• 使用基于 GAN 的生成器与局部感受野判别器（patchGAN）的图像合成器模块（ISM），通过将变形服装与目标人物图像融合，生成逼真且高保真的图像。
• 采用自监督策略训练 ISM，损失函数包括对抗性损失、L1 损失和 DSSIM 损失，利用目标人物的语义分割掩码作为输入，引导图像合成过程，减少伪影。
• 在小时钟网络中引入跳跃连接和多尺度特征学习，以增强空间理解能力并提升生成结果的结构一致性。

实验结果

研究问题

• RQ1 在条纹、花卉等复杂图案下，基于地标引导的 TPS 变形是否能优于依赖特征匹配的变形方法，从而更好地保留服装细节与贴合度？
• RQ2 自监督训练策略在多大程度上可缓解虚拟试穿任务中成对训练数据的缺失问题？
• RQ3 掩码生成器与图像合成器的结合在减少伪影和提升虚拟试穿结果真实感方面效果如何？
• RQ4 将人体与时尚地标作为控制点，是否相比端到端的特征匹配方法，能带来更准确且一致的服装变形？
• RQ5 所提出的三阶段框架（变形、掩码优化、图像合成）是否能在 MPV 和 DeepFashion 等基准数据集上达到最先进性能？

主要发现

• 在 MPV 和 DeepFashion 数据集上，LGVTON 在 FID 和 SSIM 指标上均优于四种最先进方法，更低的 FID 分数表示图像质量更优，更高的 SSIM 分数表示结构相似性更强。
• 该方法显著减少了最终输出中的伪影，尤其当使用目标掩码作为图像合成器模块的输入时，视觉对比显示若无此输入，伪影仍会持续存在。
• 基于地标引导的 TPS 变形模块成功保留了服装的纹理与色彩，避免了 M2E-TON 中观察到的颜色与纹理退化，尤其在复杂图案服装中表现更优。
• 时尚地标的引入使模型即使在模特服装含有易混淆传统几何匹配方法的图案（如衬衫上的头像图案）时，也能实现精确变形。
• 掩码生成器能有效处理变形后服装中的部分遮挡与错位，提升贴合精度，减少可见接缝或形变。
• 自监督训练策略使模型无需成对数据即可有效训练，证明了从无配对的模特与人物图像中学习的可行性。