[论文解读] Down to the Last Detail: Virtual Try-on with Detail Carving

Jiahang Wang, Wei Zhang+2 more|arXiv (Cornell University)|Dec 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 10

一句话总结

本文提出了一种多阶段虚拟试穿框架，能够在姿态和服装变换过程中保留衣物纹理和面部身份的精细细节。通过引入用于多尺度特征融合的Tree-Block模块并采用端到端训练，该方法在标准基准上实现了视觉保真度和细节保留方面的最先进性能。

ABSTRACT

Virtual try-on under arbitrary poses has attracted lots of research attention due to its huge potential applications. However, existing methods can hardly preserve the details in clothing texture and facial identity (face, hair) while fitting novel clothes and poses onto a person. In this paper, we propose a novel multi-stage framework to synthesize person images, where rich details in salient regions can be well preserved. Specifically, a multi-stage framework is proposed to decompose the generation into spatial alignment followed by a coarse-to-fine generation. To better preserve the details in salient areas such as clothing and facial areas, we propose a Tree-Block (tree dilated fusion block) to harness multi-scale features in the generator networks. With end-to-end training of multiple stages, the whole framework can be jointly optimized for results with significantly better visual fidelity and richer details. Extensive experiments on standard datasets demonstrate that our proposed framework achieves the state-of-the-art performance, especially in preserving the visual details in clothing texture and facial identity. Our implementation will be publicly available soon.

研究动机与目标

• 解决在任意姿态下进行虚拟试穿时，保留衣物纹理和面部身份的细粒度细节的挑战。
• 克服现有方法在姿态和服装变换过程中无法保持显著区域视觉保真度的局限性。
• 设计一种多阶段框架，将空间对齐与从粗到细的图像生成解耦，以提升控制力和细节保留能力。
• 引入Tree-Block模块，有效利用生成器网络中的多尺度特征，以增强细节建模能力。

提出的方法

• 将虚拟试穿任务分解为两个阶段：空间对齐，随后进行从粗到细的图像生成。
• 设计一种Tree-Block（树状空洞融合模块），利用分层空洞卷积结构聚合多尺度特征，以增强显著区域的特征表示。
• 采用端到端训练策略，联合优化整个框架，以提升视觉质量和细节保真度。
• 利用增强Tree-Block的生成器网络，在多个尺度上优化图像合成，重点关注衣物图案和面部细节的保留。
• 采用多阶段训练策略，首先对齐人物姿态，随后逐步细化图像并增加细节。
• 利用Tree-Block提供的丰富特征表示，在新型服装和姿态变换过程中保持身份和纹理的一致性。

实验结果

研究问题

• RQ1 与单阶段方法相比，多阶段框架是否能提升虚拟试穿中的细节保留能力？
• RQ2 Tree-Block模块在捕捉多尺度特征以保留衣物纹理和面部身份方面有多高效？
• RQ3 跨阶段的端到端训练在多大程度上提升了视觉保真度和细节准确性？
• RQ4 所提出的方法是否在任意姿态下保留精细细节方面优于现有的最先进方法？

主要发现

• 所提出的框架在标准虚拟试穿基准上实现了最先进性能，尤其在保留衣物纹理细节方面表现突出。
• Tree-Block模块显著增强了显著区域的特征表示，从而实现了更清晰、更逼真的纹理合成。
• 多阶段框架的端到端训练实现了更优的对齐与细化，从而提升了视觉保真度。
• 该方法在姿态和服装变换过程中表现出色，能有效保留面部身份和发丝细节。
• 定量结果表明，FID和LPIPS等指标持续提升，表明图像质量与细节保留能力更优。
• 该框架在多种姿态和服装下生成具有丰富细粒度细节的逼真图像方面，优于先前方法。