[论文解读] ISP: Multi-Layered Garment Draping with Implicit Sewing Patterns

Ren Li, Benoît Guillard+1 more|arXiv (Cornell University)|May 23, 2023

3D Shape Modeling and Analysis被引用 5

一句话总结

本文提出隐式缝合图案（ISP），一种新颖的参数化服装表示方法，利用二维符号距离函数（SDF）和二维到三维映射，实现对任意姿态人体上多层服装的可微分、高保真度垂挂模拟。该方法在从图像中恢复多层服装方面达到最先进性能，并可通过修改二维面板实现直观的形状与纹理编辑。

ABSTRACT

Many approaches to draping individual garments on human body models are realistic, fast, and yield outputs that are differentiable with respect to the body shape on which they are draped. However, they are either unable to handle multi-layered clothing, which is prevalent in everyday dress, or restricted to bodies in T-pose. In this paper, we introduce a parametric garment representation model that addresses these limitations. As in models used by clothing designers, each garment consists of individual 2D panels. Their 2D shape is defined by a Signed Distance Function and 3D shape by a 2D to 3D mapping. The 2D parameterization enables easy detection of potential collisions and the 3D parameterization handles complex shapes effectively. We show that this combination is faster and yields higher quality reconstructions than purely implicit surface representations, and makes the recovery of layered garments from images possible thanks to its differentiability. Furthermore, it supports rapid editing of garment shapes and texture by modifying individual 2D panels.

研究动机与目标

• 解决在多样化人体姿态下，多层服装缺乏可微分、逼真垂挂方法的问题。
• 实现从2D图像掩码端到端可微分的分层服装重建。
• 通过2D面板操作支持直观的、参数化的服装形状与纹理编辑。
• 克服现有隐式或网格表示方法在处理复杂分层与碰撞时的局限性。
• 开发一种受时尚设计实践启发的可扩展、参数化服装表示方法。

提出的方法

• 将服装表示为由可学习符号距离函数（SDF）定义的2D面板集合，其条件依赖于潜在向量 𝐳。
• 通过条件依赖于 𝐳 的2D到3D映射，将每个2D面板映射到3D表面，实现3D形状预测。
• 使用可微分渲染器和IoU损失，优化潜在码 𝐳，以实现从2D分割掩码中恢复多层服装。
• 在2D面板空间中引入碰撞感知损失，防止垂挂过程中的相互穿插。
• 通过从最外层到最内层的顺序优化，确保逼真的分层效果。
• 通过最小化预测与目标面板边缘在2D参数空间中的Chamfer距离，实现形状编辑。

实验结果

研究问题

• RQ1 可微分的隐式服装表示能否在多样化人体姿态下支持逼真的多层垂挂？
• RQ2 隐式缝合图案能否实现从单张图像2D掩码中高保真度恢复分层服装？
• RQ3 通过SDF对2D面板进行操作能否实现直观的、参数化的服装形状与纹理编辑？
• RQ4 所提方法在重建保真度与碰撞避免方面是否优于现有隐式或网格方法？
• RQ5 尽管模型仅在标准T型姿态数据上进行训练，其在推理时能否泛化到任意人体姿态？

主要发现

• 在用户研究中，本方法在用户偏好度上达到62.69%，显著优于基线方法（DrapeNet为25.00%），表明视觉保真度更高。
• 基于IoU损失的优化方法在重建中实现了更低的交并比，表明掩码对齐更优，重叠误差更小。
• 重建后的服装在复杂多层配置下，与身体或各层之间均无相互穿插现象。
• 本方法成功从2D分割掩码中恢复了完整的多层服装，优于SMPLicit、ClothWild和DrapeNet。
• 通过SDF直接操作2D面板边界实现了编辑，支持直观修改如缩短袖子或闭合开口。
• 该方法支持通过在UV面板上绘制实现可微分纹理编辑，而隐式方法通常需要辅助分类器。