[论文解读] Disentangled Cycle Consistency for Highly-realistic Virtual Try-On

Chongjian Ge, Yibing Song+4 more|arXiv (Cornell University)|Mar 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 45被引用 4

一句话总结

本文提出了一种新型框架——解耦循环一致性试穿网络（DCTON），将虚拟试穿过程解耦为三个独立模块：服装形变、皮肤生成和图像合成，通过自监督循环一致性训练实现高度逼真、照片级真实的生成效果。DCTON在基准数据集上达到最先进性能，VITON数据集上的用户偏好得分为87.68%，推理速度达19 FPS。

ABSTRACT

Image virtual try-on replaces the clothes on a person image with a desired in-shop clothes image. It is challenging because the person and the in-shop clothes are unpaired. Existing methods formulate virtual try-on as either in-painting or cycle consistency. Both of these two formulations encourage the generation networks to reconstruct the input image in a self-supervised manner. However, existing methods do not differentiate clothing and non-clothing regions. A straight-forward generation impedes virtual try-on quality because of the heavily coupled image contents. In this paper, we propose a Disentangled Cycle-consistency Try-On Network (DCTON). The DCTON is able to produce highly-realistic try-on images by disentangling important components of virtual try-on including clothes warping, skin synthesis, and image composition. To this end, DCTON can be naturally trained in a self-supervised manner following cycle consistency learning. Extensive experiments on challenging benchmarks show that DCTON outperforms state-of-the-art approaches favorably.

研究动机与目标

• 为解决现有虚拟试穿方法存在的局限性，即依赖单向重建或原始循环一致性，二者均存在纹理保留差和图像内容耦合生成的问题。
• 通过显式解耦服装形变、皮肤生成和图像合成三个模块，提升虚拟试穿的视觉真实感与结构保真度。
• 通过循环一致性实现有效的自监督训练，同时保持对袖口、领口和身体部位等细粒度细节的高质量生成。
• 与ACGPN和CP-VTON等先前方法相比，实现端到端训练，提升性能与计算效率。

提出的方法

• DCTON将虚拟试穿分解为三个子网络：采用空间变换网络（STN）并引入新型正则化项的服装形变模块，以保留纹理细节。
• 引入皮肤生成模块，通过专用编码器提供的先验特征，生成被遮挡区域（如手臂、躯干）的逼真人像皮肤。
• 图像合成模块将形变后的服装与生成的皮肤融合，生成最终的试穿图像，确保全局一致性与逼真外观。
• 整个框架采用循环一致性方式进行训练：输入人物图像与源服装被转换为目标服装，再通过重建原始图像完成循环，实现自监督学习。
• 采用解耦循环一致性损失，将内容生成划分为独立且可控制的组件，降低服装与非服装区域之间的干扰。
• 在STN中增加正则化项以稳定形变过程，防止细纹理（如标志、刺绣）发生失真。

Figure 1: Comparison of virtual try-on pipelines. The inpainting methods (e.g., CP-VTON [ 35 ] and ACGPN [ 40 ] ) shown in the top row use one in-shop clothes to replace the same input clothes. The vanilla CycleGAN [ 18 ] shown in the middle row introduces two in-shop clothes for cycle consistency a

实验结果

研究问题

• RQ1 将虚拟试穿解耦为服装形变、皮肤生成和图像合成三个模块，是否能提升生成试穿图像的真实感与质量？
• RQ2 与原始循环一致性或单向修复方法相比，采用显式解耦的循环一致性训练方案是否在视觉保真度与细节保留方面表现更优？
• RQ3 所提方法能否在复杂区域（如手臂、袖口、标志）保持高性能并减少伪影？
• RQ4 专用皮肤生成模块的引入对遮挡区域人像皮肤的真实感有何影响？
• RQ5 STN中的正则化项在服装形变过程中对纹理保留的提升作用有多大？

主要发现

• 在VITON测试集上，DCTON用户偏好得分为87.68%，显著优于CA-GAN（79.29%）、CP-VTON（85.84%）及其他SOTA方法。
• 在具有挑战性的VITON-HD数据集上，DCTON展现出强鲁棒性与泛化能力，持续优于基线方法。
• 消融实验表明，若移除皮肤生成编码器，皮肤区域将出现模糊或变色现象，凸显其在真实感中的关键作用。
• STN中的正则化项对细纹理保护至关重要——若无该正则化，形变过程会导致标志与刺绣图案出现明显失真。
• DCTON在单张V100 GPU上实现19 FPS的推理速度，接近ACGPN速度的两倍，同时FLOPs更低（194G vs. 206G），参数量略多（153M vs. 139M）。
• 尽管训练时间较长（约44小时 vs. 约40小时），DCTON仍保持高质量生成，视觉一致性更优，伪影更少，优于ACGPN与CP-VTON。

Figure 3: The pipeline of our disentangled cycle consistency framework. We show the CNN architecture above where there are clothes warping, skin synthesis, and image composition modules. The encoded features from these modules are concatenated to decode the output image. The cycle consistency is sho