[论文解读] 3D Virtual Garment Modeling from RGB Images

Yi Xu, Shanglin Yang+4 more|arXiv (Cornell University)|Jul 31, 2019

3D Shape Modeling and Analysis参考文献 40被引用 4

一句话总结

本文提出了一种新颖的方法，仅通过两张RGB图像（正面和背面）即可生成带有纹理的3D虚拟服装模型，无需专用硬件或真人模特。该方法采用多任务深度学习网络（JFNet）预测时尚关键点和语义部件分割，从而引导模板网格变形与纹理映射，实现从电商照片中准确、可扩展的3D服装建模。

ABSTRACT

We present a novel approach that constructs 3D virtual garment models from photos. Unlike previous methods that require photos of a garment on a human model or a mannequin, our approach can work with various states of the garment: on a model, on a mannequin, or on a flat surface. To construct a complete 3D virtual model, our approach only requires two images as input, one front view and one back view. We first apply a multi-task learning network called JFNet that jointly predicts fashion landmarks and parses a garment image into semantic parts. The predicted landmarks are used for estimating sizing information of the garment. Then, a template garment mesh is deformed based on the sizing information to generate the final 3D model. The semantic parts are utilized for extracting color textures from input images. The results of our approach can be used in various Virtual Reality and Mixed Reality applications.

研究动机与目标

• 实现仅通过电商网站等 readily available 产品照片进行3D虚拟服装建模，无需专用采集设备或真人模特。
• 解决时尚和VR/AR应用中传统3D服装建模成本高、流程复杂的难题。
• 开发一种可在多种服装状态（穿在模特身上、人偶上或平铺状态）下工作的技术，仅需两张输入图像。
• 通过语义解析与尺寸估计，支持可扩展、低成本的3D服装建模，适用于虚拟试穿与数字时装应用。

提出的方法

• 训练一个多任务学习网络JFNet，联合预测服装图像中的时尚关键点并执行语义部件分割。
• 利用关键点预测结果估算关键服装尺寸（如袖长、胸围宽度），以指导3D模板网格的形变。
• 语义部件分割支持从输入图像中精确提取纹理，通过将2D图像部件映射到2D参考纹理，实现3D模型的纹理映射。
• 基于估算的尺寸信息对3D模板网格进行形变，使其匹配输入服装的比例。
• 将分割后的部件纹理提取并投影到形变后的3D网格上，生成完整的带纹理3D服装模型。
• 系统在假设前后对称的前提下支持单张图像输入，提升在实际电商图像集中的可用性。

实验结果

研究问题

• RQ1 能否仅从两张不同状态（穿在模特身上、人偶上或平铺）的服装RGB图像中准确重建3D虚拟服装？
• RQ2 单一深度学习模型能否有效同时预测服装图像中的时尚关键点与语义部件分割？
• RQ3 从2D图像关键点估算的尺寸信息在多大程度上能准确地将3D模板网格形变为合理的3D服装？
• RQ4 从分割部件中提取的纹理能否在最终3D模型上产生视觉上合理且一致的结果？
• RQ5 该方法在不重新训练的前提下，对不同服装类型（如T恤、长裤）和风格（如版型、长度）的泛化能力如何？

主要发现

• 所提出的JFNet在上衣上的部件分割任务中达到0.725的mIOU，长裤上达到0.968，优于DeepLabV3+等基线方法。
• 在上衣上的关键点预测平均误差（NE）为0.031，在长裤上为0.022，表明关键点定位具有高精度。
• 3D建模结果呈现出视觉上合理的服装，能准确反映输入图像的特征，如袖口宽度、长度与合身度，表明形状迁移有效。
• 系统能成功从两张图像生成完整的3D带纹理模型，即使服装未穿在人体上，包括平铺或人偶状态。
• 该方法实现了低失真的纹理映射，但当源图像与目标轮廓差异显著时，局部形变仍可能发生。
• 在对称性假设下支持单图像输入，显著提升了在现实电商图像集中的灵活性。