[论文解读] PT-VTON: an Image-Based Virtual Try-On Network with Progressive Pose Attention Transfer

Hanhan Zhou, Tian Lan+1 more|arXiv (Cornell University)|Nov 23, 2021

Image Enhancement Techniques参考文献 26被引用 5

一句话总结

PT-VTON 提出了一种基于姿态迁移的虚拟试穿框架，通过渐进式姿态注意力迁移网络和双纹理迁移方法，实现了在任意姿态下用户穿着新衣物的高保真图像合成。该方法在保留用户身份、体态和面料细节方面达到最先进性能，支持多视角（侧面和背面）输出，在定量指标和定性真实感方面均优于先前方法，且系统修改极少。

ABSTRACT

The virtual try-on system has gained great attention due to its potential to give customers a realistic, personalized product presentation in virtualized settings. In this paper, we present PT-VTON, a novel pose-transfer-based framework for cloth transfer that enables virtual try-on with arbitrary poses. PT-VTON can be applied to the fashion industry within minimal modification of existing systems while satisfying the overall visual fashionability and detailed fabric appearance requirements. It enables efficient clothes transferring between model and user images with arbitrary pose and body shape. We implement a prototype of PT-VTON and demonstrate that our system can match or surpass many other approaches when facing a drastic variation of poses by preserving detailed human and fabric characteristic appearances. PT-VTON is shown to outperform alternative approaches both on machine-based quantitative metrics and qualitative results.

研究动机与目标

• 为解决在用户姿态与训练数据中姿态差异显著时的逼真虚拟试穿挑战。
• 在衣物迁移过程中保留用户细微特征，如面部特征、肤色和体态。
• 仅使用2D图像实现360度虚拟试穿能力，无需3D重建或物理测量。
• 开发一种可实际部署于时尚产业的框架，集成简单，对现有模型图像集依赖低。
• 通过结合姿态感知形变与两种专用纹理迁移策略，提升纹理迁移保真度，以应对不同复杂度的衣物。

提出的方法

• 该框架使用姿态相似性估计模块，从模型图像中选择与用户输入图像姿态最接近的一张。
• 渐进式姿态注意力迁移网络（PATN）通过关键点引导的特征对齐与感知几何匹配损失，将模型的着装图像形变以匹配用户姿态。
• 采用两阶段训练策略与迁移学习，利用预训练模型并基于模型图像进行小批量训练，以增强特征保留。
• 采用两种纹理迁移方法：简单情况下使用带高斯平滑的复制粘贴，复杂或不匹配的衣物类型则使用纹理翻译网络。
• 条件分割掩码引导纹理迁移过程，确保源与目标身体区域的精确对齐。
• 在衣物类型变化显著时（如长袖变为短袖），系统通过模型衍生的肢体与匹配肤色的皮肤色调，补全缺失的身体部位。

实验结果

研究问题

• RQ1 2D虚拟试穿系统是否能在无需3D重建或物理测量的前提下，跨任意姿态保留用户身份与面料外观的细节？
• RQ2 当源姿态与目标姿态显著不同时，如何优化姿态迁移以保持结构一致性和视觉真实感？
• RQ3 在用户数据有限但模型图像丰富的条件下，何种训练策略可实现有效特征保留？
• RQ4 多阶段框架是否能支持多视角虚拟试穿（如侧视与后视），同时保持身份保真度？
• RQ5 在衣物复杂度与姿态差异变化下，不同纹理迁移策略在性能与鲁棒性方面表现如何？

主要发现

• PT-VTON 的 inception 分数（IS）达到 3.28，优于 CP-VTON（2.66）、SwapNet（3.04）和 Sievenet（2.91），表明图像质量更优。
• 采用复制粘贴纹理迁移方法时，系统 SSIM 达到 0.833，MS-SSIM 达到 0.839，结构相似性优于其他基线方法。
• 系统处理 100 次虚拟试穿请求的摊销时间仅为 6 秒，表现出低延迟，适合大规模部署。
• 定性结果表明，无论姿态如何变化，包括侧视与后视，面部特征、肤色与体态均保持一致。
• 消融实验表明，专用训练策略与 PATN 架构显著优于标准姿态迁移网络。
• 失败案例主要源于关键点图匹配错误，表明系统对极端姿态下姿态估计精度较为敏感。