[论文解读] Deep Fashion3D: A Dataset and Benchmark for 3D Garment Reconstruction from Single Images

Heming Zhu, Yu Cao+6 more|arXiv (Cornell University)|Mar 28, 2020

3D Shape Modeling and Analysis参考文献 68被引用 14

一句话总结

本文提出了 Deep Fashion3D，这是迄今为止最大规模的公开 3D 服装数据集，包含 2078 个真实世界的服装模型，涵盖 10 个类别，具有丰富的标注信息，包括 3D 特征线、多视角图像和人体姿态。该研究提出了一种新颖的可适配模板基础网络，统一了网格和隐式表示，能够从单张图像重建多样的服装拓扑结构，与类别特定模型相比，显著提升了泛化能力并减少了过拟合。

ABSTRACT

High-fidelity clothing reconstruction is the key to achieving photorealism in a wide range of applications including human digitization, virtual try-on, etc. Recent advances in learning-based approaches have accomplished unprecedented accuracy in recovering unclothed human shape and pose from single images, thanks to the availability of powerful statistical models, e.g. SMPL, learned from a large number of body scans. In contrast, modeling and recovering clothed human and 3D garments remains notoriously difficult, mostly due to the lack of large-scale clothing models available for the research community. We propose to fill this gap by introducing Deep Fashion3D, the largest collection to date of 3D garment models, with the goal of establishing a novel benchmark and dataset for the evaluation of image-based garment reconstruction systems. Deep Fashion3D contains 2078 models reconstructed from real garments, which covers 10 different categories and 563 garment instances. It provides rich annotations including 3D feature lines, 3D body pose and the corresponded multi-view real images. In addition, each garment is randomly posed to enhance the variety of real clothing deformations. To demonstrate the advantage of Deep Fashion3D, we propose a novel baseline approach for single-view garment reconstruction, which leverages the merits of both mesh and implicit representations. A novel adaptable template is proposed to enable the learning of all types of clothing in a single network. Extensive experiments have been conducted on the proposed dataset to verify its significance and usefulness. We will make Deep Fashion3D publicly available upon publication.

研究动机与目标

• 解决在服装重建中用于训练深度学习模型的大规模、高质量 3D 服装数据集的缺乏问题。
• 通过提供具有真实形变和丰富标注的综合性基准，实现从单张图像进行高保真 3D 服装重建。
• 通过开发一种能够跨多样化服装拓扑结构泛化的统一网络架构，克服类别特定模型的局限性。
• 引入一种新颖的可适配模板，支持在单一网络中学习所有服装类型，减少过拟合并提升泛化能力。

提出的方法

• 该数据集通过使用多视角 RGB 图像和 3D 重建流程对真实服装进行扫描构建，捕捉了真实的褶皱和形变。
• 使用一种新型标注协议在重建的点云上对每件服装标注 3D 特征线——即领口、下摆等关键几何轮廓。
• 提出一种新颖的可适配模板，根据服装类型动态激活语义区域和特征线，使单一网络能够处理多样的拓扑结构。
• 该方法结合了基于网格和隐式表示的学习：网格头预测服装形状，隐式头则利用来自 ResNet-18 特征提取器的潜在码回归表面。
• 采用多任务损失函数，结合 Chamfer 距离用于特征线拟合，以及边长正则化以减少锯齿状伪影并提升平滑度。
• 训练使用联合损失：L_total = L_recon + λ_reg * ||θ||² + L_line + λ_edge * L_edge，其中 λ_reg = 1e-5 且 λ_edge = 0.2。

实验结果

研究问题

• RQ1 单一深度学习模型是否能够在不依赖类别特定分支的情况下，泛化于多样的 3D 服装拓扑结构？
• RQ2 与固定类别特定模板相比，可适配模板在提升泛化能力和减少过拟合方面的有效性如何？
• RQ3 3D 特征线标注在多大程度上提升了单图像 3D 服装重建的准确性和几何合理性？
• RQ4 在多样化、大规模数据集上训练的统一网络是否能够超越在有限子集数据上训练的模型？

主要发现

• Deep Fashion3D 数据集包含 2078 个 3D 服装模型，来自 563 个独立实例，涵盖 10 个类别，显著大于先前的数据集（如 MGN 的 356 个模型）。
• 所提出的可适配模板使模型能够在完整数据集上进行训练，相比类别特定模型，实现了更好的泛化能力并减少了过拟合。
• 该方法实现了高质量的特征线预测，即使在训练期间未见过的野外图像上，其预测结果也与真实值高度吻合。
• 使用微调后的 ResNet-18 和 OccNet 的隐式表面重建方法，能够从单张图像准确恢复几何结构，得益于多视角监督，细节保真度得到提升。
• 边长正则化损失（λ_edge = 0.2）有效减少了预测特征线中的锯齿状伪影，同时保持与真实轮廓的一致性。
• 在野外图像上的定性结果表明，该模型能够准确重建多样的服装风格，保持正确的拓扑结构和几何细节。