[论文解读] High-Resolution Virtual Try-On with Misalignment and Occlusion-Handled Conditions

Sangyun Lee, Gyojung Gu+3 more|arXiv (Cornell University)|Jun 28, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出了一种统一的试穿条件生成器，联合执行服装形变与分割图生成，实现无错位、感知遮挡的高分辨率虚拟试穿。通过融合形变与分割模块之间的特征，并引入判别器拒绝机制，该方法消除了像素挤压伪影，在1024×768分辨率基准上达到最先进性能。

ABSTRACT

Image-based virtual try-on aims to synthesize an image of a person wearing a given clothing item. To solve the task, the existing methods warp the clothing item to fit the person's body and generate the segmentation map of the person wearing the item before fusing the item with the person. However, when the warping and the segmentation generation stages operate individually without information exchange, the misalignment between the warped clothes and the segmentation map occurs, which leads to the artifacts in the final image. The information disconnection also causes excessive warping near the clothing regions occluded by the body parts, so-called pixel-squeezing artifacts. To settle the issues, we propose a novel try-on condition generator as a unified module of the two stages (i.e., warping and segmentation generation stages). A newly proposed feature fusion block in the condition generator implements the information exchange, and the condition generator does not create any misalignment or pixel-squeezing artifacts. We also introduce discriminator rejection that filters out the incorrect segmentation map predictions and assures the performance of virtual try-on frameworks. Experiments on a high-resolution dataset demonstrate that our model successfully handles the misalignment and occlusion, and significantly outperforms the baselines. Code is available at https://github.com/sangyun884/HR-VITON.

研究动机与目标

• 解决高分辨率虚拟试穿中形变服装与分割图之间的错位问题。
• 减轻由衣物被身体部位遮挡所导致的像素挤压伪影。
• 提升在高分辨率（1024×768）虚拟试穿数据集上的性能。
• 通过判别器拒绝机制过滤错误的分割预测，增强实际应用中的适用性。

提出的方法

• 引入一种统一的试穿条件生成器，联合预测形变后的服装与分割图，确保内在对齐。
• 设计特征融合模块，实现形变与分割模块之间的双向信息交换。
• 实施条件对齐，以强制形变服装与预测分割图之间的空间一致性。
• 应用判别器拒绝机制，过滤低质量或错误的分割图预测。
• 采用基于GAN的框架，其中判别器用于评估分割图质量，以提升最终图像的保真度。
• 在包含配对人物与服装图像的高分辨率虚拟试穿数据集上端到端训练模型。

实验结果

研究问题

• RQ1 一种能够联合执行形变与分割图生成的统一架构，是否能消除高分辨率虚拟试穿中的错位伪影？
• RQ2 所提出方法在身体部位遮挡复杂几何区域的衣物时，处理能力如何？
• RQ3 形变与分割模块之间的特征融合在多大程度上提升了视觉质量并减少了伪影？
• RQ4 判别器拒绝机制是否能提升真实世界虚拟试穿应用中对分布外输入的鲁棒性？

主要发现

• 所提方法在1024×768分辨率虚拟试穿基准上达到最先进性能，优于VITON-HD及其他领先基线方法。
• 定量结果表明，在无配对设置下，KID得分为0.179，FID为10.91，显著优于PF-AFN及其他无解析器方法。
• 消融实验确认，特征融合模块与条件对齐均不可或缺，两者结合使FID降低15%。
• 定性结果表明，完全消除了错位与像素挤压伪影，尤其在被遮挡区域表现更优。
• 判别器拒绝机制有效过滤了错误的分割预测，提升了真实场景下的鲁棒性。
• 在高分辨率无配对设置下，该模型超越了CP-VTON与ACGPN，而后者在该设置下无法泛化。