[论文解读] Toward Characteristic-Preserving Image-based Virtual Try-On Network

Bochao Wang, Huabin Zheng+4 more|arXiv (Cornell University)|Jul 20, 2018

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 11

一句话总结

本文提出 CP-VTON，一种完全可学习的基于图像的虚拟试穿网络，在大范围空间形变下能保留衣物的关键特征（如纹理、标志）。它通过几何匹配模块中的可学习薄板样条变换和试穿模块中的组合掩码，实现了最先进的逼真、细节保留的虚拟试穿合成性能。

ABSTRACT

Image-based virtual try-on systems for fitting new in-shop clothes into a person image have attracted increasing research attention, yet is still challenging. A desirable pipeline should not only transform the target clothes into the most fitting shape seamlessly but also preserve well the clothes identity in the generated image, that is, the key characteristics (e.g. texture, logo, embroidery) that depict the original clothes. However, previous image-conditioned generation works fail to meet these critical requirements towards the plausible virtual try-on performance since they fail to handle large spatial misalignment between the input image and target clothes. Prior work explicitly tackled spatial deformation using shape context matching, but failed to preserve clothing details due to its coarse-to-fine strategy. In this work, we propose a new fully-learnable Characteristic-Preserving Virtual Try-On Network(CP-VTON) for addressing all real-world challenges in this task. First, CP-VTON learns a thin-plate spline transformation for transforming the in-shop clothes into fitting the body shape of the target person via a new Geometric Matching Module (GMM) rather than computing correspondences of interest points as prior works did. Second, to alleviate boundary artifacts of warped clothes and make the results more realistic, we employ a Try-On Module that learns a composition mask to integrate the warped clothes and the rendered image to ensure smoothness. Extensive experiments on a fashion dataset demonstrate our CP-VTON achieves the state-of-the-art virtual try-on performance both qualitatively and quantitatively.

研究动机与目标

• 解决在基于图像的虚拟试穿中，于大范围空间形变下保留细粒度衣物特征（如纹理、标志）的挑战。
• 克服先前方法依赖手工设计的形状上下文匹配且因粗到精策略导致细节丢失的局限性。
• 开发一个完全端到端可训练的流程，实现将店内衣物与目标人物体型对齐，同时保持外观保真度。
• 提升对输入中轻微错位的鲁棒性，此类错位在现有方法中常导致性能下降。

提出的方法

• 提出一种可学习的几何匹配模块（GMM），可预测薄板样条变换，以将店内衣物与目标人物体型对齐，取代手工设计的形状上下文匹配。
• 采用基于 U-Net 的试穿模块，生成姿态一致的图像和组合掩码，以无缝融合形变后的衣物与渲染的人体图像。
• 使用通过 L1 正则化训练的组合掩码，以平衡形变衣物与 U-Net 渲染图像的贡献，初期更倾向于形变衣物，以保留细节。
• 采用两阶段训练策略：首先，GMM 学习将衣物对齐至人物体型；其次，试穿模块利用组合掩码将对齐后的衣物与人体图像融合。
• 采用结合 L1、感知和对抗损失的损失函数，以增强最终输出的逼真度与细节保真度。
• 采用一种新颖的训练调度策略：初期组合掩码偏向形变衣物，使网络能先学习保留衣物特征，随后逐渐适应 U-Net 渲染区域。

实验结果

研究问题

• RQ1 在大范围空间形变下，完全可学习的几何变换模块是否能优于手工设计的形状上下文匹配，在将店内衣物对齐至目标人物体型方面表现更优？
• RQ2 与直接混合或固定融合策略相比，使用可学习的组合掩码是否能更好地提升衣物特征的保留效果？
• RQ3 与现有两阶段流程（如 VITON）相比，所提方法对输入中轻微错位的鲁棒性如何？
• RQ4 在具有挑战性的姿态与体型变化下，该模型在虚拟试穿中能多大程度上保留细粒度衣物细节（如标志、文字、纹理）？

主要发现

• CP-VTON 在 Han 等人 [10] 的时尚数据集上实现了最先进性能，无论在定性还是定量评估中，均优于 VITON 及其他基线方法，在保留衣物特征方面表现更优。
• 消融实验表明，若移除组合掩码，即使存在轻微错位，也会导致结果模糊，证明其在细节保留中的关键作用。
• 对组合掩码施加 L1 正则化至关重要——若无此正则化，掩码倾向于偏好 U-Net 渲染图像，导致衣物细节丢失。
• CP-VTON 对模拟错位（最大 20px 偏移）表现出更优的鲁棒性，随着扰动增加，性能衰减速度慢于 VITON 或 CP-VTON(w/o mask)。
• 失败案例揭示了在处理罕见姿态、内侧衣物模糊性以及旧衣物形状失真方面的局限性，表明在形状感知建模方面仍有改进空间。
• 模型能有效保留高保真细节，如标志与纹理，定性对比显示最终试穿结果中细节失真或伪影极少。