[论文解读] Deep Learning-Based Virtual Try-On System Using Multi-Modal Feature Fusion and Generative Adversarial Networks

Xintong Han, Zuxuan Wu+3 more|arXiv (Cornell University)|Nov 22, 2017

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 24

一句话总结

本文提出 VITON，一种基于深度学习的虚拟试穿系统，利用多模态特征融合与生成对抗网络，将产品图像中的服装无3D数据地转移到2D人物图像上。该方法采用端到端的粗到细框架，结合条件编码器-解码器网络与优化网络，实现具有自然形变和保留视觉细节的逼真结果。

ABSTRACT

This paper presents a comprehensive deep learning-based virtual try-on system that addresses the challenge of realistic garment transfer in e-commerce applications. The system leverages multi-modal feature fusion combining cloth-agnostic person representation, pose estimation, and human parsing to enable identity-preserving virtual try-on. Key Contributions: • Multi-Modal Input Architecture: A 41-channel input representation combining cloth-agnostic RGB (3 channels), OpenPose Body25 pose heatmaps (18 channels), and LIP human parsing masks (20 channels) • Advanced Neural Architecture: U-Net generator with self-attention mechanisms (26.4M parameters) and spectral-normalized PatchGAN discriminator (2.8M parameters) for stable adversarial training • Sophisticated Loss Function: Multi-component objective combining adversarial loss (LSGAN), perceptual loss (VGG19, 5 layers), L1 reconstruction, and feature matching losses • Complete Pipeline Implementation: End-to-end system from data preprocessing through model training with systematic analysis of each component Technical Details: Dataset: VITON-HD (10,482 training samples, 2,032 test samples) Framework: PyTorch Architecture: U-Net with self-attention + Spectral-normalized PatchGAN Training: Proof-of-concept validation (10 epochs, CPU-based, 256×192 resolution) Evaluation: SSIM, PSNR, L1 distance metrics with comprehensive quantitative and qualitative analysis

研究动机与目标

• 开发一种不依赖3D身体测量或深度数据的基于图像的虚拟试穿系统。
• 解决将复杂视觉图案与真实形变的服装准确转移到2D图像中人物身上的挑战。
• 生成保留目标服装姿态、体型与细节特征的逼真虚拟试穿结果。
• 通过引入多模态特征融合与优化网络，改进现有基于GAN的方法，以提升真实感。

提出的方法

• 该框架采用与服装无关的人物表征，结合姿态、体型与外观特征，以条件化生成过程。
• 一个多任务编码器-解码器网络生成带有目标服装叠加的粗略图像及对应的服装区域掩码。
• 该掩码引导一个变形操作，将目标服装与人物体型和姿态对齐。
• 一个优化网络将变形后的服装与粗略图像融合，学习保留细节并确保自然形变。
• 系统通过条件GAN损失进行训练，结合对抗训练以增强真实感与感知质量。
• 后处理包括使用分割模型去除颈部区域伪影，以及使用改进的人体解析模型以正确处理衣领区域。

实验结果

研究问题

• RQ1 基于2D图像的虚拟试穿系统是否能在不使用3D身体数据或深度信息的情况下实现逼真效果？
• RQ2 多模态特征融合在虚拟试穿中如何提升服装对齐与细节保留效果？
• RQ3 与端到端GAN相比，采用粗到细GAN框架并结合优化网络能在多大程度上提升视觉质量？
• RQ4 不同组件（如掩码引导的变形与优化网络）在减少伪影与提升真实感方面分别起到何种作用？
• RQ5 该系统在服装转移过程中能否保留复杂视觉图案，如刺绣、标志与纹理？

主要发现

• 在用户研究中，VITON优于最先进方法，对不包含体型信息的表示偏好度达67.6%，对不包含姿态信息的表示偏好度达77.4%。
• 优化网络显著提升了视觉质量，通过增强模糊的服装区域并保留如纹理与图案等精细细节。
• 在变形前使用分割模型去除颈部区域，有效消除了颈部区域的伪影。
• 更新后包含颈部分割的人体解析模型，减少了目标服装与生成图像之间衣领风格的不一致。
• 通过分割保留原始腿部区域，避免了空隙问题，提升了最终输出的真实感。
• 定性结果表明，系统在多种服装类型与体型下均表现一致，具备逼真的形变与高视觉保真度。