[论文解读] Dress Code: High-Resolution Multi-Category Virtual Try-On

Davide Morelli, Matteo Fincato+4 more|arXiv (Cornell University)|Apr 18, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了 Dress Code，一个大规模、高分辨率（1024×768）的多类别服装数据集，包含上身、下身及全身服饰与全身模特的配对图像。为提升视觉保真度，提出了一种像素级语义感知判别器（PSAD），在像素级别强制执行语义一致性，显著提升了虚拟试穿结果的逼真度与细节表现，在 Dress Code 和 VITON 基准测试中，无论是定量指标还是用户评测均优于当前最先进方法。

ABSTRACT

Image-based virtual try-on strives to transfer the appearance of a clothing item onto the image of a target person. Prior work focuses mainly on upper-body clothes (e.g. t-shirts, shirts, and tops) and neglects full-body or lower-body items. This shortcoming arises from a main factor: current publicly available datasets for image-based virtual try-on do not account for this variety, thus limiting progress in the field. To address this deficiency, we introduce Dress Code, which contains images of multi-category clothes. Dress Code is more than 3x larger than publicly available datasets for image-based virtual try-on and features high-resolution paired images (1024x768) with front-view, full-body reference models. To generate HD try-on images with high visual quality and rich in details, we propose to learn fine-grained discriminating features. Specifically, we leverage a semantic-aware discriminator that makes predictions at pixel-level instead of image- or patch-level. Extensive experimental evaluation demonstrates that the proposed approach surpasses the baselines and state-of-the-art competitors in terms of visual quality and quantitative results. The Dress Code dataset is publicly available at https://github.com/aimagelab/dress-code.

研究动机与目标

• 为解决图像级虚拟试穿中缺乏多样化、高分辨率数据集的问题，特别是针对下身和全身服饰。
• 开发一种能够通过学习特定身体部位的服装对齐方式，处理多种服装类别的虚拟试穿框架。
• 通过细粒度的语义监督，提升生成试穿图像的视觉质量和逼真度。
• 通过一个全新的、公开可用的数据集，建立全面的虚拟试穿基准，涵盖多样化的服装类别。

提出的方法

• 提出 Dress Code，一个全新的公开数据集，包含超过 50,000 幅高分辨率（1024×768）的模特穿着多类别服装的配对图像。
• 提出一种像素级语义感知判别器（PSAD），通过逐像素的语义分割与真实/生成图像分类，提升生成结果的逼真度。
• 训练一个从粗到精的图像生成网络，基于语义线索将服装对齐至正确的身体区域。
• 使用基于解析器的判别器学习内部语义表征，提升生成图像中纹理与形状的一致性。
• 采用多阶段训练流程，结合对抗损失、感知损失与 L1 损失，以保留身份特征与服装细节。
• 在新提出的 Dress Code 数据集和标准的 VITON 基准上验证方法，包括消融实验与用户研究。

实验结果

研究问题

• RQ1 一个高分辨率、多类别的虚拟试穿数据集是否能提升图像生成模型的泛化能力与逼真度？
• RQ2 与基于块或图像级别的判别器相比，像素级语义感知判别器在生成高保真度试穿图像方面表现如何？
• RQ3 统一架构能否有效处理多样化的服装类别（上身、下身、全身），并保持一致的身体对齐？
• RQ4 所提出方法在定量指标与人工评估中的表现，相较于最先进模型提升了多少？

主要发现

• 在 VITON 数据集上，所提出的 PSAD 模型取得 FID 13.71 和 KID 0.412，优于基线方法 Patch（FID: 14.76，KID: 0.495）以及 CP-VTON+ 和 ACGPN 等最先进模型。
• 在 Dress Code 数据集上，PSAD 相较于 Patch 基线，在所有分辨率下均将 FID 提升 5.00 点，KID 提升 0.46 点。
• 用户研究表明，PSAD 模型在 62.3% 的对比中被认为更具真实感，在 64.1% 的情况下被认为与输入服装和模特更协调。
• 在 VITON 上，PSAD 模型取得 SSIM 0.885，优于 CP-VTON+（0.828）和 ACGPN（0.845），表明其在结构保持方面表现更优。
• 该方法在不同分辨率下泛化能力出色，从 256×192 到 1024×768 均保持一致的性能提升，展现出强鲁棒性。
• 完整多服装试穿设置——依次应用上身与下身服饰——已在 Dress Code 上成功实现，而此功能在 VITON 上不可行。