[论文解读] Example-based Real-time Clothing Synthesis for Virtual Agents

Nannan Wu, Qianwen Chao+8 more|arXiv (Cornell University)|Jan 8, 2021

3D Shape Modeling and Analysis参考文献 70被引用 5

一句话总结

本文提出了一种实时、数据驱动的方法，用于在具有不同体型和姿态的虚拟角色上模拟服装动画。通过将服装形变分解为与姿态相关的部分和与体型相关的部分，并在预计算的锚点处进行泰勒展开，该方法在不缩放服装尺寸的情况下实现了交互式性能（CPU上超过50 FPS），显著提升了虚拟现实环境中的真实感和用户感知。

ABSTRACT

We present a real-time cloth animation method for dressing virtual humans of various shapes and poses. Our approach formulates the clothing deformation as a high-dimensional function of body shape parameters and pose parameters. In order to accelerate the computation, our formulation factorizes the clothing deformation into two independent components: the deformation introduced by body pose variation (Clothing Pose Model) and the deformation from body shape variation (Clothing Shape Model). Furthermore, we sample and cluster the poses spanning the entire pose space and use those clusters to efficiently calculate the anchoring points. We also introduce a sensitivity-based distance measurement to both find nearby anchoring points and evaluate their contributions to the final animation. Given a query shape and pose of the virtual agent, we synthesize the resulting clothing deformation by blending the Taylor expansion results of nearby anchoring points. Compared to previous methods, our approach is general and able to add the shape dimension to any clothing pose model. %and therefore it is more general. Furthermore, we can animate clothing represented with tens of thousands of vertices at 50+ FPS on a CPU. Moreover, our example database is more representative and can be generated in parallel, and thereby saves the training time. We also conduct a user evaluation and show that our method can improve a user's perception of dressed virtual agents in an immersive virtual environment compared to a conventional linear blend skinning method.

研究动机与目标

• 实现实时、高保真的虚拟角色服装动画，适用于多种体型和姿态。
• 将服装形变解耦为与姿态相关的部分和与体型相关的部分，以实现可扩展且高效的计算。
• 支持实时虚拟试穿和沉浸式虚拟现实应用，实现逼真的褶皱与垂坠效果。
• 在不依赖GPU加速或服装缩放的前提下，保持在消费级CPU上的高性能。
• 相比传统的线性混合皮肤化方法，提升用户对穿着服装的虚拟角色的感知质量。

提出的方法

• 该方法将服装形变分解为服装姿态模型（用于姿态变化）和服装体型模型（用于体型变化），将形变视为这两个参数的函数。
• 对预模拟的服装实例应用主成分分析（PCA），以降低维度，并使用前k个主成分（实验中k=5）来建模与体型相关的形变。
• 基于敏感度的距离度量用于在体型空间和姿态空间中识别附近的锚点，以实现局部近似。
• 在每个锚点处应用泰勒展开以近似形变，并在运行时对新体型和姿态查询的局部结果进行融合。
• 该方法利用数据点之间的相互独立性，支持并行数据库构建，从而在离线阶段相比先前基于MCMC的方法提高了效率。
• 在LBS之后应用穿透检测以解决穿插问题，尽管深度穿插的情况会被标记为不良适配。

实验结果

研究问题

• RQ1 是否能够实时高效且准确地将服装形变建模为体型和姿态参数的函数？
• RQ2 如何解耦服装形变中的体型与姿态依赖性，以实现可扩展的实时合成？
• RQ3 基于泰勒展开的局部近似方案是否能在不使用昂贵高阶导数的情况下实现高保真结果？
• RQ4 与线性混合皮肤化相比，该方法在沉浸式虚拟现实环境中在多大程度上提升了用户对虚拟角色的感知？
• RQ5 该方法如何扩展以支持额外参数，如服装材质或图案？

主要发现

• 该方法在消费级CPU上实现了超过50 FPS的实时性能，适用于包含数万个顶点的服装网格，支持在虚拟现实中进行交互式应用。
• 用户评估表明，与线性混合皮肤化相比，该方法显著提升了用户对穿着服装的虚拟角色的感知质量。
• 基于敏感度的锚点选择与融合方案在保持褶皱和垂坠效果高视觉保真度的同时降低了计算成本。
• 该方法可无缝将体型维度添加到任何现有服装姿态模型中，无需重新训练或修改，增强了泛化能力与可重用性。
• 由于数据点之间的独立性，该方法在数据库构建效率上优于先前的采样技术，支持并行化处理。
• 尽管在处理快速姿态变化或极贴身服装时存在局限，该方法通过穿透检测有效识别出不良适配，提示该服装不适合该体型。