[论文解读] End-to-End Learning of Geometric Deformations of Feature Maps for Virtual Try-On

Thibaut Issenhuth, Jérémie Mary+1 more|arXiv (Cornell University)|Jun 4, 2019

Image Processing and 3D Reconstruction参考文献 43被引用 19

一句话总结

该论文提出WUTON，一种端到端的孪生U-Net架构，配备可学习的卷积几何匹配器，可将服装图像的特征图形变以适配目标人物，实现照片级真实的虚拟试穿。通过将感知损失和对抗性损失反向传播至几何匹配器，模型能够保留条纹等复杂图案，并在LPIPS和视觉质量指标上达到最先进性能。

ABSTRACT

The 2D virtual try-on task has recently attracted a lot of interest from the research community, for its direct potential applications in online shopping as well as for its inherent and non-addressed scientific challenges. This task requires to fit an in-shop cloth image on the image of a person. It is highly challenging because it requires to warp the cloth on the target person while preserving its patterns and characteristics, and to compose the item with the person in a realistic manner. Current state-of-the-art models generate images with visible artifacts, due either to a pixel-level composition step or to the geometric transformation. In this paper, we propose WUTON: a Warping U-net for a Virtual Try-On system. It is a siamese U-net generator whose skip connections are geometrically transformed by a convolutional geometric matcher. The whole architecture is trained end-to-end with a multi-task loss including an adversarial one. This enables our network to generate and use realistic spatial transformations of the cloth to synthesize images of high visual quality. The proposed architecture can be trained end-to-end and allows us to advance towards a detail-preserving and photo-realistic 2D virtual try-on system. Our method outperforms the current state-of-the-art with visual results as well as with the Learned Perceptual Image Similarity (LPIPS) metric.

研究动机与目标

• 解决在2D虚拟试穿系统中为带有图案的服装生成逼真几何形变的挑战。
• 克服现有方法中像素级组合和次优形变带来的伪影。
• 通过在统一的端到端框架中整合形变与生成，消除对独立图像组合步骤的需求。
• 通过利用最终合成图像的损失，端到端训练几何匹配器，以提升视觉保真度和感知相似性。
• 在推理时对低质量人体分割结果表现出鲁棒性，同时保持高质量输出。

提出的方法

• 提出一种孪生U-Net生成器，可并行处理无标识人物表征和服装图像。
• 引入一种卷积几何匹配器，通过薄板样条参数学习空间变换，以形变服装特征图。
• 在编码器和解码器层之间应用跳跃连接，其中特征在拼接前由匹配器进行几何变换。
• 使用结合L1、感知（基于VGG）和无配对对抗性损失的多任务损失，端到端训练整个网络。
• 将最终图像重建损失（L1、感知、对抗性）反向传播至几何匹配器，使其学习保持结构的形变。
• 在训练期间使用预训练的人体分割器生成无标识人物表征（ap），该表征掩码服装但保留身份和姿态。

实验结果

研究问题

• RQ1 几何匹配器的端到端训练能否提升虚拟试穿中服装图案形变的真实感？
• RQ2 移除独立的图像组合步骤是否能带来更好的视觉质量，以及更自然的阴影和对比度？
• RQ3 感知损失和对抗性损失的端到端反向传播在保留条纹等复杂图案方面有何影响？
• RQ4 该模型在推理时对退化的人体分割结果具有多大程度的鲁棒性？
• RQ5 所提方法在LPIPS和视觉保真度指标上与最先进方法相比，定量和定性表现如何？

主要发现

• WUTON在配对测试集上取得0.101 ± 0.047的LPIPS得分，显著优于CP-VTON（0.131 ± 0.058）和原始无标识表征下的CP-VTON（0.182 ± 0.049）。
• 无配对对抗性损失带来的视觉效果优于配对对抗性损失，尤其在处理源服装与目标服装间较大形状差异时表现更优。
• 若移除对抗性损失，LPIPS得分上升至0.107 ± 0.049，表明对抗性训练能提升感知真实感和对比度。
• 若抑制图像级损失向几何匹配器的反向传播，LPIPS得分升至0.112 ± 0.053，证明端到端训练对结构保持至关重要。
• 将端到端架构替换为两阶段流程（粗略生成 + 组合）会降低性能，LPIPS升至0.105 ± 0.047。
• 即使在推理时将人体分割器替换为灰色边界框，模型仍保持强劲性能，表明其对分割错误具有强鲁棒性。