[论文解读] Garment Avatars: Realistic Cloth Driving using Pattern Registration

Oshri Halimi, Fabián Prada+8 more|arXiv (Cornell University)|Jun 7, 2022

3D Shape Modeling and Analysis被引用 6

一句话总结

本文提出了一种新颖的端到端流水线，用于创建可驾驶的、高保真的服装虚拟化身，通过多视角带图案布料追踪实现2.67毫米的注册分辨率和1毫米的定位误差。通过利用稀疏视角下的部分图案检测以及UV空间坐标修复网络，该方法实现了超越当前最先进姿态驱动模型的逼真布料动画，在保真度和真实感方面表现更优，即使仅依赖身体姿态驱动亦能实现。

ABSTRACT

Virtual telepresence is the future of online communication. Clothing is an essential part of a person's identity and self-expression. Yet, ground truth data of registered clothes is currently unavailable in the required resolution and accuracy for training telepresence models for realistic cloth animation. Here, we propose an end-to-end pipeline for building drivable representations for clothing. The core of our approach is a multi-view patterned cloth tracking algorithm capable of capturing deformations with high accuracy. We further rely on the high-quality data produced by our tracking method to build a Garment Avatar: an expressive and fully-drivable geometry model for a piece of clothing. The resulting model can be animated using a sparse set of views and produces highly realistic reconstructions which are faithful to the driving signals. We demonstrate the efficacy of our pipeline on a realistic virtual telepresence application, where a garment is being reconstructed from two views, and a user can pick and swap garment design as they wish. In addition, we show a challenging scenario when driven exclusively with body pose, our drivable garment avatar is capable of producing realistic cloth geometry of significantly higher quality than the state-of-the-art.

研究动机与目标

• 解决虚拟临场中训练逼真可驾驶服装模型时缺乏高分辨率、高精度真实数据的问题。
• 克服多视角布料追踪中非刚性形变、自遮挡以及视觉特征稀疏等挑战。
• 开发一种新颖的可驾驶服装虚拟化身模型，利用高精度图案注册实现更优的动画保真度。
• 仅通过两个稀疏、非重叠的摄像头视角，利用坐标修复方法实现逼真的布料动画。
• 通过精确的几何与外观建模，弥合合成仿真与真实世界服装动态之间的差距。

提出的方法

• 多视角带图案布料追踪算法使用为高精度对应关系优化的定制印刷图案，通过基于图像的检测器识别图案基元。
• 图处理算法在非刚性与投影变换下稳健识别关键点，可处理自遮挡与检测噪声。
• 该方法将3D布料重建建模为UV空间中的坐标修复问题，采用UNet结构的网络融合来自稀疏视角的部分像素坐标信号。
• 修复网络相对于基于部分观测拟合的粗略运动学模型运行，从而实现对不同体型与服装类型的泛化能力。
• 可驾驶的服装虚拟化身通过稀疏视角的像素级图案信号进行训练，其提供的空间相关性优于仅依赖姿态信号。
• 该模型采用表面运动学模型而非传统LBS，提升了几何一致性并减少了伪影。

实验结果

研究问题

• RQ1 基于图案的注册系统是否能在复杂自遮挡条件下的动态布料形变中实现亚毫米级定位精度与高对应质量？
• RQ2 从稀疏、非重叠视角中进行部分图案检测，是否能提供足够的几何约束以实现高保真布料动画？
• RQ3 使用像素级图案信号作为驱动信号，是否在真实感与细节保真度方面优于仅依赖姿态的驱动方式？
• RQ4 在UV空间中的坐标修复网络是否能从不完整的2D观测中高精度重建完整的3D布料几何结构？
• RQ5 运动学模型的选择（基于表面 vs. LBS）如何影响最终服装动画的质量与稳定性？

主要发现

• 所提出的图案注册流水线实现了1毫米的三角测量定位误差与2.67毫米的注册分辨率，显著优于以往方法在精度与对应质量方面的表现。
• 该方法生成了具有前所未有的几何保真度的注册布料网格动态序列，为下游模型提供了高质量的数据生成能力。
• 在高精度数据上训练后，基于像素注册驱动的服装虚拟化身在定性真实感与定量驱动误差方面均优于当前最先进姿态驱动模型。
• 所提方法的驱动误差显著低于姿态驱动基线模型，证明其具备更强的条件约束能力并有效减少了对高频噪声的过拟合。
• 消融实验表明，表面运动学模型相比基于LBS的替代方案能更有效地减少几何伪影并提升稳定性。
• 该方法实现了仅通过两个摄像头视角即可实现逼真的虚拟临场，支持实时纹理替换与高细节布料重建。