[论文解读] Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence Learning

Zaiyu Huang, Hanhui Li+4 more|arXiv (Cornell University)|Nov 25, 2022

3D Shape Modeling and Analysis被引用 7

一句话总结

本文提出3D感知全局对应学习（3D-GCL），一种新颖的硬姿态虚拟试穿方法，通过隐式监督利用3D几何先验，以提升全局对应估计性能。通过结合自粗到精的优化与3D正则化损失，该方法在保持衣物纹理及处理大姿态和视角变化方面达到最先进性能，在基准数据集和自定义HardPose数据集上均优于先前方法。

ABSTRACT

In this paper, we target image-based person-to-person virtual try-on in the presence of diverse poses and large viewpoint variations. Existing methods are restricted in this setting as they estimate garment warping flows mainly based on 2D poses and appearance, which omits the geometric prior of the 3D human body shape. Moreover, current garment warping methods are confined to localized regions, which makes them ineffective in capturing long-range dependencies and results in inferior flows with artifacts. To tackle these issues, we present 3D-aware global correspondences, which are reliable flows that jointly encode global semantic correlations, local deformations, and geometric priors of 3D human bodies. Particularly, given an image pair depicting the source and target person, (a) we first obtain their pose-aware and high-level representations via two encoders, and introduce a coarse-to-fine decoder with multiple refinement modules to predict the pixel-wise global correspondence. (b) 3D parametric human models inferred from images are incorporated as priors to regularize the correspondence refinement process so that our flows can be 3D-aware and better handle variations of pose and viewpoint. (c) Finally, an adversarial generator takes the garment warped by the 3D-aware flow, and the image of the target person as inputs, to synthesize the photo-realistic try-on result. Extensive experiments on public benchmarks and our HardPose test set demonstrate the superiority of our method against the SOTA try-on approaches.

研究动机与目标

• 为解决现有虚拟试穿方法在处理大姿态和视角变化时的局限性。
• 克服基于2D的光流估计中缺乏3D几何引导的问题，后者会导致纹理失真和伪影。
• 通过以全局对应学习替代局部光流估计，改进衣物形变中的长距离依赖建模。
• 将3D人体先验隐式整合到对应学习中，避免因3D网格预测不准确带来的噪声。
• 在具有多样化姿态和视角的挑战性人物间场景中，实现逼真的虚拟试穿结果。

提出的方法

• 两个并行编码器分别从源图像和目标图像中提取姿态感知与高层特征表示。
• 通过多阶段细化模块的自粗到精解码器，利用特征图之间的交叉注意力计算，预测全分辨率的全局对应关系。
• 几何感知的对应关系细化模块（GACRMs）分阶段逐步上采样并优化对应图。
• 引入一种新颖的3D正则化损失，利用SMPL基流场隐式引导优化过程，强制实现几何一致性。
• 将最终的形变衣物与目标人物图像一起输入对抗生成器，以合成逼真的虚拟试穿结果。
• 该方法通过将3D先验作为隐式监督而非显式预测3D网格，降低噪声并提升鲁棒性。

实验结果

研究问题

• RQ1 全局对应学习是否能有效建模在大姿态变化下衣物形变中的长距离形变？
• RQ2 如何在不依赖显式3D网格重建的前提下，有效整合3D几何先验到对应学习中？
• RQ3 通过SMPL流实现的隐式3D监督是否能提升在非约束虚拟试穿场景中光流估计的准确性和鲁棒性？
• RQ4 与仅依赖外观的光流估计相比，所提出的3D正则化损失在减少伪影和提升纹理保留方面有多显著？
• RQ5 该方法在具有不同姿态和视角复杂度的多样化数据集上泛化能力如何？

主要发现

• 所提出的3D-GCL方法在DeepFashion数据集上取得74.22的最高mIoU分数，表明在衣物形变中具有优越的语义准确性。
• 该方法取得10.58的最低FID分数，表明生成结果具有高保真度和逼真感。
• 在自定义HardPose测试集上，该方法显著优于第二名方法（Pose-with-Style），展现出在复杂场景中的强大泛化能力。
• 消融实验表明，全局对应估计与3D正则化损失均不可或缺，其中后者对mIoU提升贡献最大。
• 人工评估显示，该方法在视觉质量方面获得最高比例的正面评价，证实其在纹理和结构保留方面的感知优越性。
• 同时包含全局对应与3D正则化损失的完整模型在所有指标上均表现最佳，验证了长距离建模与几何引导之间的协同增效作用。