[论文解读] Parser-Free Virtual Try-on via Distilling Appearance Flows

Yuying Ge, Yibing Song+4 more|arXiv (Cornell University)|Mar 8, 2021

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 10

一句话总结

该论文提出PF-AFN，一种无需解析器的虚拟试穿方法，采用新颖的“教师-导师-学生”知识蒸馏方案，生成高质量、逼真的试穿图像，无需依赖人工解析。通过将基于解析器模型的输出视为“导师知识”，并使用真实人物图像作为“教师知识”进行自监督监督，学生网络通过蒸馏外观流实现密集对应匹配，从而学习纠正伪影并生成更优结果。

ABSTRACT

Image virtual try-on aims to fit a garment image (target clothes) to a person image. Prior methods are heavily based on human parsing. However, slightly-wrong segmentation results would lead to unrealistic try-on images with large artifacts. Inaccurate parsing misleads parser-based methods to produce visually unrealistic results where artifacts usually occur. A recent pioneering work employed knowledge distillation to reduce the dependency of human parsing, where the try-on images produced by a parser-based method are used as supervisions to train a "student" network without relying on segmentation, making the student mimic the try-on ability of the parser-based model. However, the image quality of the student is bounded by the parser-based model. To address this problem, we propose a novel approach, "teacher-tutor-student" knowledge distillation, which is able to produce highly photo-realistic images without human parsing, possessing several appealing advantages compared to prior arts. (1) Unlike existing work, our approach treats the fake images produced by the parser-based method as "tutor knowledge", where the artifacts can be corrected by real "teacher knowledge", which is extracted from the real person images in a self-supervised way. (2) Other than using real images as supervisions, we formulate knowledge distillation in the try-on problem as distilling the appearance flows between the person image and the garment image, enabling us to find accurate dense correspondences between them to produce high-quality results. (3) Extensive evaluations show large superiority of our method (see Fig. 1).

研究动机与目标

• 解决基于解析器的虚拟试穿方法因人体解析不准确而产生伪影的局限性。
• 克服现有无解析器方法的性能瓶颈，即图像质量受限于教师模型输出中的伪影。
• 开发一种自监督的无解析器框架，利用真实人物图像作为监督信号，提升图像真实感。
• 通过外观流蒸馏增强人物与服装图像之间的密集对应学习，以提升形变质量。

提出的方法

• 提出一种“教师-导师-学生”知识蒸馏框架，其中导师为基于解析器的模型，生成虚假试穿图像，教师为用于自监督监督的真实人物图像。
• 将导师生成的虚假试穿图像作为输入送入无解析器的学生网络，该网络被训练以重建真实人物图像，从而实现伪影纠正。
• 采用外观流蒸馏，将人物与服装图像之间的密集对应信息进行迁移，提升形变精度。
• 设计一种外观流估计网络（AFEN），其包含级联的流网络（FN），包含相关层和特征精炼模块，以实现精确的流预测。
• 采用可调节的知识蒸馏机制，仅在基于解析器的导师模型产生准确形变时，才对学生产生引导，避免错误传播。
• 通过结合真实图像的重建损失和基于流的蒸馏损失，联合训练学生网络，以确保生成结果逼真且对齐良好。

实验结果

研究问题

• RQ1 无解析器的虚拟试穿模型能否在不依赖人工解析或分割掩码的情况下实现更优的图像质量？
• RQ2 与从基于解析器模型的伪影中蒸馏相比，使用真实人物图像进行自监督监督能否提升试穿结果的真实感？
• RQ3 在人物与服装图像之间蒸馏外观流是否能带来更准确的密集对应关系和更优的形变质量？
• RQ4 可调节的知识蒸馏机制能否防止学生网络从导师模型的错误预测中学习？
• RQ5 在图像保真度和真实感方面，所提方法与最先进基于解析器和无解析器方法相比表现如何？

主要发现

• 在VITON数据集上，PF-AFN的Fréchet Inception Distance（FID）达到10.09，显著优于基于解析器的方法和先前最先进无解析器方法WUTON。
• 在MPV数据集上，PF-AFN在FID和用户偏好方面均超越WUTON，用户对比中71.62%的偏好选择PF-AFN而非WUTON。
• 消融实验表明，若移除AFEN中的精炼、相关性或级联模块，性能将下降，FID从10.09升至11.90或更高。
• 可调节知识蒸馏机制将FID降低至10.09，而无蒸馏时为11.40，固定蒸馏时为10.86，证明其在过滤错误导师引导方面的有效性。
• 用户研究证实，PF-AFN生成的试穿图像在真实感和视觉偏好上优于CP-VTON、ClothFlow、ACGPN和WUTON，A/B测试中多数用户偏好明显。
• 外观流蒸馏组件至关重要：若移除该模块或改用更简单的编码器-解码器结构，FID得分将显著恶化，证明其在准确对应学习中的关键作用。