[论文解读] DeepWrinkles: Accurate and Realistic Clothing Modeling

Zorah Laehner, Daniel Cremers+1 more|arXiv (Cornell University)|Aug 10, 2018

3D Shape Modeling and Analysis参考文献 46被引用 42

一句话总结

一个数据驱动的框架，具备基于子空间的全局布料变形模型，以及一个时序一致的 cGAN，它在法线贴图上添加高频皱纹，以实现真实的服装动画。

ABSTRACT

We present a novel method to generate accurate and realistic clothing deformation from real data capture. Previous methods for realistic cloth modeling mainly rely on intensive computation of physics-based simulation (with numerous heuristic parameters), while models reconstructed from visual observations typically suffer from lack of geometric details. Here, we propose an original framework consisting of two modules that work jointly to represent global shape deformation as well as surface details with high fidelity. Global shape deformations are recovered from a subspace model learned from 3D data of clothed people in motion, while high frequency details are added to normal maps created using a conditional Generative Adversarial Network whose architecture is designed to enforce realism and temporal consistency. This leads to unprecedented high-quality rendering of clothing deformation sequences, where fine wrinkles from (real) high resolution observations can be recovered. In addition, as the model is learned independently from body shape and pose, the framework is suitable for applications that require retargeting (e.g., body animation). Our experiments show original high quality results with a flexible model. We claim an entirely data-driven approach to realistic cloth wrinkle generation is possible.

研究动机与目标

• 推动用于动画、AR/VR 和虚拟试穿的真实服装重建。
• 开发一个完全数据驱动的流水线，将人体形状/姿态与服装皱纹分离。
• 从真实的 4D 扫描中捕捉高频服装细节并实现高效渲染。
• 实现服装在不同体型和姿势之间的再目标化（retargeting）。

提出的方法

• 从 4D 扫描数据中学习一个线性子空间模型，用姿态和体型归一化服装变形。
• 将服装模板注册到 4D 扫描，并构建平均形状和顶点偏移量；进行 PCA 以获得低维表示。
• 训练一个姿态到形状的回归（以及自回归 RNN），将关节姿态映射到子空间系数以实现再目标化。
• 通过在法线贴图上训练条件 GAN 来生成细致的表面细节，条件输入低分辨率法线以产生高分辨率法线。
• 通过专门的损失项引入时间一致性，以确保法线贴图的逐帧过渡平滑。
• 使用增强后的法线贴图进行渲染，在实时图形管线中实现真实的皱纹细节。

实验结果

研究问题

• RQ1 一个数据驱动的子空间模型是否能够在对体型和姿态进行分解以用于再目标化的同时，准确捕捉全球服装变形？
• RQ2 在法线贴图上运行的神经网络是否能添加从高分辨率扫描中恢复的高频、时序一致的皱纹？
• RQ3 输入法线贴图质量和时序损失对再目标化服装的真实感和稳定性有何影响？
• RQ4 再目标化对新的体型和未见过的姿势的泛化能力如何？

主要发现

• 从真实的 4D 数据学习的线性子空间模型可以用姿态和形状归一化的坐标表示服装变形。
• 在法线贴图上工作的 cGAN 能恢复低分辨率模板未捕捉到的细腻皱纹，产生高保真渲染。
• 引入时间一致性损失可提高动画序列的帧间稳定性和真实感。
• 对新体型和姿势的再目标化是可行的，使得在不同角色之间渲染服装时仍保留细节。
• 与基于物理仿真和纯子空间方法相比，DeepWrinkles 以数据驱动的方法在细节保真度上实现更高，同时存储需求適中。