[论文解读] Cloth Interactive Transformer for Virtual Try-On

Bin Ren, Hao Tang+4 more|arXiv (Cornell University)|Apr 12, 2021

Generative Adversarial Networks and Image Synthesis被引用 14

一句话总结

本文提出了一种两阶段的布料交互式变换器（CIT）用于基于2D图像的虚拟试穿，通过交叉注意力变换器在形变和渲染阶段建模人物与服装特征之间的长程、交互式相关性。该方法通过提升纹理保真度和掩码对齐，实现了更逼真的试穿效果，尽管在标准指标上提升有限，但在视觉质量上优于先前方法。

ABSTRACT

The 2D image-based virtual try-on has aroused increased interest from the multimedia and computer vision fields due to its enormous commercial value. Nevertheless, most existing image-based virtual try-on approaches directly combine the person-identity representation and the in-shop clothing items without taking their mutual correlations into consideration. Moreover, these methods are commonly established on pure convolutional neural networks (CNNs) architectures which are not simple to capture the long-range correlations among the input pixels. As a result, it generally results in inconsistent results. To alleviate these issues, in this paper, we propose a novel two-stage cloth interactive transformer (CIT) method for the virtual try-on task. During the first stage, we design a CIT matching block, aiming to precisely capture the long-range correlations between the cloth-agnostic person information and the in-shop cloth information. Consequently, it makes the warped in-shop clothing items look more natural in appearance. In the second stage, we put forth a CIT reasoning block for establishing global mutual interactive dependencies among person representation, the warped clothing item, and the corresponding warped cloth mask. The empirical results, based on mutual dependencies, demonstrate that the final try-on results are more realistic. Substantial empirical results on a public fashion dataset illustrate that the suggested CIT attains competitive virtual try-on performance.

研究动机与目标

• 解决现有基于2D图像的虚拟试穿方法在建模人物与服装特征之间相互关联方面的局限性。
• 通过捕捉纯CNN无法实现的长程空间依赖关系，提升形变后服装的逼真度。
• 通过在统一的变换器推理框架中建模人物表征、形变服装及其掩码之间的交互依赖关系，提升最终试穿图像的质量。
• 在复杂情况（如带有纹理或图案的服装）下减少伪影并提升视觉合理性。

提出的方法

• 提出两阶段框架：(1) 几何匹配阶段使用CIT匹配模块，通过交叉注意力优化人物与服装特征；(2) 试穿阶段使用CIT推理模块实现多模态交互。
• 在CIT匹配模块中采用可学习的交叉注意力变换器编码器，建模无布料依赖的人物特征与店内服装特征之间的长程相关性。
• 提出一种新颖的三模态CIT推理模块，联合建模人物表征、形变服装及其掩码，以改善掩码组合与特征优化。
• 使用薄板样条（TPS）变换进行空间形变，其由CIT匹配模块生成的相关性图引导。
• 采用多损失训练目标，包括形变掩码上的L1损失与正则化项，以提升对齐精度与细节保留。
• 利用自注意力机制实现全局上下文建模，克服标准卷积网络的局部感受野限制。

实验结果

研究问题

• RQ1 交互式注意力机制能否提升虚拟试穿中人物与服装特征之间长程依赖关系的建模？
• RQ2 显式建模人物、形变服装及其掩码之间的相互关联关系，是否能带来更逼真的试穿效果？
• RQ3 两阶段变换器架构是否能在视觉质量上超越基于CNN的基线模型，特别是在复杂纹理与图案场景下？
• RQ4 标准指标（如IoU或FID）在多大程度上与人类对虚拟试穿真实感的感知相关？

主要发现

• 完整CIT模型（B3）在指标与视觉质量之间达到最佳平衡，FID为13.97，KID为0.761，尽管JS与IS得分略低，但在感知质量上仍优于基线CP-VTON+。
• 消融研究显示，仅添加CIT推理模块（B2）即可提升SSIM与IS，表明特征优化与图像清晰度得到改善。
• CIT匹配模块（B1）显著提升了形变服装的逼真度，定性结果证实纹理对齐更优且伪影更少。
• 尽管B4变体（增加L1掩码损失）的IoU（0.813）更高且LPIPS（0.110）更低，但其视觉效果劣于B3，表明高指标得分并不总反映更好的感知质量。
• 用户研究证实，B3（完整CIT）生成的图像更逼真，且更完整地保留了服装细节，尽管B4在部分指标上得分更优。
• 失败案例揭示了在处理大尺寸服装-参考差异、自遮挡及姿态-服装错位时存在局限，提示需改进输入标注或整合3D数据。