[论文解读] Detailed Garment Recovery from a Single-View Image

Shan Yang, Tanya Ambert+5 more|arXiv (Cornell University)|Aug 3, 2016

3D Shape Modeling and Analysis参考文献 61被引用 41

一句话总结

本文提出了一种方法，仅通过单张2D图像，结合统计、几何和物理先验，即可恢复包含精细褶皱、折痕和材质特性的详细3D服装模型。通过结合人体形状重建、服装模板形变和基于物理的布料模拟，该方法在极少用户输入下实现了高保真的虚拟试穿与动画效果，尽管存在单视角限制，仍能获得视觉上可信的结果。

ABSTRACT

Most recent garment capturing techniques rely on acquiring multiple views of clothing, which may not always be readily available, especially in the case of pre-existing photographs from the web. As an alternative, we pro- pose a method that is able to compute a rich and realistic 3D model of a human body and its outfits from a single photograph with little human in- teraction. Our algorithm is not only able to capture the global shape and geometry of the clothing, it can also extract small but important details of cloth, such as occluded wrinkles and folds. Unlike previous methods using full 3D information (i.e. depth, multi-view images, or sampled 3D geom- etry), our approach achieves detailed garment recovery from a single-view image by using statistical, geometric, and physical priors and a combina- tion of parameter estimation, semantic parsing, shape recovery, and physics- based cloth simulation. We demonstrate the effectiveness of our algorithm by re-purposing the reconstructed garments for virtual try-on and garment transfer applications, as well as cloth animation for digital characters.

研究动机与目标

• 实现仅从单视角图像恢复详细3D服装模型，克服多视角或3D扫描的限制。
• 对关键的逼真布料外观表现至关重要的遮挡褶皱和折痕等精细几何细节进行建模。
• 从阴影和折叠等图像线索中推断材质参数和设计版型，以实现精确的虚拟试穿。
• 将恢复的服装适配到不同人体形态和姿态，拓展其在数字角色动画中的应用范围。
• 通过利用统计人体模型和服装模板，减少对专家输入或3D扫描的依赖。

提出的方法

• 使用从裸体数据集中提取的统计人体模型，基于14个关节标注和轮廓草图，估计人体形状与姿态。
• 应用服装模板数据库，识别服装的基础形状，实现常见服装类型的可形变参数化。
• 采用语义解析与特征估计，从输入图像中检测服装边界、版型和关键结构元素。
• 利用基于物理的布料模拟，施加物理解剖变形，引导恢复图像中不可见的褶皱与折痕。
• 通过图像约束与模拟物理解行为的结合，联合优化材质参数、姿态与形状。
• 整合参数估计与形状恢复流程，通过迭代方式优化3D服装模型，直至达到视觉合理性与图像一致性。

实验结果

研究问题

• RQ1 能否在无多视角或深度数据的情况下，仅从单张2D图像准确恢复具有精细几何细节（如褶皱与折痕）的3D服装模型？
• RQ2 当缺乏直接测量时，如何从图像线索（如褶皱与阴影）推断服装的材质属性？
• RQ3 在无3D输入的情况下，基于物理的布料模拟能在多大程度上提升恢复服装几何形状的合理性？
• RQ4 恢复的服装在虚拟试穿与动画中，能否良好地适配到不同人体形态与姿态？
• RQ5 模板形变方法在捕捉复杂服装变化（如多层裙装或结构化领口）方面存在哪些局限性？

主要发现

• 通过结合物理模拟与基于图像的先验，该方法即使在遮挡情况下，也能实现具有逼真褶皱与折痕的视觉上可信的3D服装恢复。
• 平均而言，完整流程每件服装耗时4至6小时，其中60–80%的时间用于服装参数识别与材质-姿态联合优化。
• 基于褶皱与折痕的存在，成功估计了材质参数，这些特征作为织物刚度与垂感的强视觉线索。
• 恢复的服装可成功适配到不同人体形态与姿态，支持虚拟试穿与动画应用。
• 该方法受限于服装模板数据库的可用性与形态灵活性，尤其在处理复杂或非标准设计时表现不足。
• 当3D人体姿态估计失败时，需人工干预，表明其对当前最先进姿态恢复方法的依赖性。