[论文解读] Neural 3D Clothes Retargeting from a Single Image

Jae Shin Yoon, Kihwan Kim+2 more|arXiv (Cornell University)|Jan 29, 2021

3D Shape Modeling and Analysis参考文献 68被引用 5

一句话总结

该论文提出了一种半监督神经框架CRNet，通过利用大规模物理模拟的合成数据来学习合理的服装形变，实现从单张RGB图像进行3D服装重定向。该方法通过接触点和轮廓匹配的自监督机制适应真实图像，在存在遮挡和运动模糊的情况下，无需真实3D服装数据即可实现逼真的、符合物理规律的重定向。

ABSTRACT

In this paper, we present a method of clothes retargeting; generating the potential poses and deformations of a given 3D clothing template model to fit onto a person in a single RGB image. The problem is fundamentally ill-posed as attaining the ground truth data is impossible, i.e., images of people wearing the different 3D clothing template model at exact same pose. We address this challenge by utilizing large-scale synthetic data generated from physical simulation, allowing us to map 2D dense body pose to 3D clothing deformation. With the simulated data, we propose a semi-supervised learning framework that validates the physical plausibility of the 3D deformation by matching with the prescribed body-to-cloth contact points and clothing silhouette to fit onto the unlabeled real images. A new neural clothes retargeting network (CRNet) is designed to integrate the semi-supervised retargeting task in an end-to-end fashion. In our evaluation, we show that our method can predict the realistic 3D pose and deformation field needed for retargeting clothes models in real-world examples.

研究动机与目标

• 为解决从单张图像进行3D服装重定向的病态问题，由于缺乏配对数据，真实3D服装形变无法获取。
• 利用大规模物理模拟的合成数据学习2D人体姿态与3D服装形变之间的空间关系。
• 通过自监督信号将预训练的服装形变模型适配到真实图像，无需任何标注的3D服装数据。
• 实现将多样化服装模板（如T恤、连衣裙）准确重定向到真实图像中任意的人体姿态和外观。
• 通过在线优化实现视频序列中的时间稳定性，无需显式跟踪或平滑模块。

提出的方法

• 通过在多样化人体姿态下进行物理模拟，生成大规模合成3D服装形变数据，实现2D到3D对应关系的端到端学习。
• 设计一种神经服装重定向网络（CRNet），整合半监督学习，将合成数据中的知识迁移至真实图像。
• 通过两种自监督信号保证物理合理性：(1) 人体与服装之间接触点的一致性，(2) 与目标图像的轮廓对齐。
• 引入一种在线优化算法，在推理过程中迭代调整服装形变和相机姿态，以提升视觉真实感和时间稳定性。
• 使用固定拓扑的网格表示重定向后的服装，实现无需重新训练即可将纹理映射到新服装上。
• 通过合成数据隐式利用SMPL人体先验，避免显式3D人体姿态估计，降低计算成本。

实验结果

研究问题

• RQ1 神经网络能否在无任何3D真实服装数据的情况下，仅从单张2D图像学习到逼真的3D服装形变？
• RQ2 如何结合物理模拟与自监督信号，实现3D服装模板到真实图像的零样本适应？
• RQ3 接触点和轮廓对齐在多大程度上能提升单图像3D服装重定向的真实感与准确性？
• RQ4 该方法能否在极少架构修改下泛化到多样化服装模板（如T恤、连衣裙）？
• RQ5 在线优化是否能在无需显式时间建模的情况下，同时提升空间对齐精度与视频序列的时间稳定性？

主要发现

• 该方法在复杂姿态、遮挡和运动模糊的真实图像中实现了高质量的3D服装重定向，展现出视觉真实感与几何合理性。
• 引入接触点损失（$\mathcal{L}_c$）和轮廓边界损失（$\mathcal{L}_d$）显著提升了重建精度，消融实验表明 $\mathcal{L}_c + \mathcal{L}_d$ 优于单一损失。
• 在线优化步骤在YouTube视频片段上实现了1.37的时间稳定性得分，接近理论下限1，表明运动平滑且无需显式跟踪。
• CRNet框架成功将新服装模板（如连体裙）泛化至新场景，仅需少量修改，包括调整输出维度、重新定义接触点与语义边界。
• 该方法优于依赖SMPL人体重建后进行服装拟合的基线方法，因其直接学习服装形变，避免了人体姿态估计误差的传播。
• 该方法实现了在重定向服装上进行纹理映射的逼真3D虚拟试穿，即使模板与目标服装拓扑不同（如T恤到长袖衬衫）也适用。