[论文解读] MonoClothCap: Towards Temporally Coherent Clothing Capture from Monocular RGB Video

Donglai Xiang, Fabián Prada+2 more|arXiv (Cornell University)|Sep 22, 2020

3D Shape Modeling and Analysis参考文献 63被引用 4

一句话总结

本文提出 MonoClothCap，这是首个无需预扫描模板即可从单目 RGB 视频实现时序一致的 3D 衣物捕捉的方法。它采用 T 恤、短裤和长裤的统计形变模型，并结合可微分渲染器，将衣物形状拟合至轮廓、语义分割、纹理和法线图，从而从真实场景视频中实现高保真、时序稳定的重建，细节表现精细褶皱。

ABSTRACT

We present a method to capture temporally coherent dynamic clothing deformation from a monocular RGB video input. In contrast to the existing literature, our method does not require a pre-scanned personalized mesh template, and thus can be applied to in-the-wild videos. To constrain the output to a valid deformation space, we build statistical deformation models for three types of clothing: T-shirt, short pants and long pants. A differentiable renderer is utilized to align our captured shapes to the input frames by minimizing the difference in both silhouette, segmentation, and texture. We develop a UV texture growing method which expands the visible texture region of the clothing sequentially in order to minimize drift in deformation tracking. We also extract fine-grained wrinkle detail from the input videos by fitting the clothed surface to the normal maps estimated by a convolutional neural network. Our method produces temporally coherent reconstruction of body and clothing from monocular video. We demonstrate successful clothing capture results from a variety of challenging videos. Extensive quantitative experiments demonstrate the effectiveness of our method on metrics including body pose error and surface reconstruction error of the clothing.

研究动机与目标

• 解决从单目 RGB 视频中捕捉时序一致的动态衣物形变，而无需依赖预扫描个性化网格模板的挑战。
• 实现在无控制多视角扫描条件下的真实场景视频中鲁棒的衣物捕捉。
• 通过可微分渲染整合多种图像测量（轮廓、语义分割、纹理、法线）以提升衣物重建的时序一致性和几何保真度。
• 利用特定于常见衣物品类（T 恤、短裤、长裤）的统计形状先验来建模衣物形变，以提升重建稳定性。
• 通过将着装表面拟合至深度学习预测的法线图，提取细粒度褶皱细节。

提出的方法

• 该方法基于真实世界衣物数据，为三种衣物品类（T 恤、短裤、长裤）构建统计形变模型，用作形状先验。
• 采用可微分渲染器，通过轮廓、语义分割、纹理和表面法线图作为监督信号，最小化渲染图像与输入帧之间的光度和几何损失。
• 提出一种 UV 纹理扩展策略，按顺序扩展可见纹理区域，以减少长时间序列中的形变跟踪漂移。
• 通过将着装表面拟合至卷积神经网络预测的法线图，捕捉细粒度褶皱细节。
• 利用多模态图像线索（2D 关节、密集对应关系、轮廓）初始化人体姿态，随后通过顺序跟踪与批量优化实现时序一致性。
• 该流程整合端到端优化与可微分渲染损失，联合优化人体姿态、衣物形状与纹理。

实验结果

研究问题

• RQ1 能否在无需预扫描模板的情况下，从单目 RGB 视频中实现时序一致的 3D 衣物重建？
• RQ2 统计衣物形变模型在单视角 3D 衣物捕捉中如何提升重建稳定性和时序一致性？
• RQ3 可微分渲染多种图像测量（轮廓、语义分割、纹理、法线）在多大程度上能提升几何精度与视觉保真度？
• RQ4 能否通过法线图监督与表面拟合，有效从单目视频中捕捉细粒度褶皱细节？
• RQ5 在真实场景视频中，该方法相较于单图像深度学习方法与基于模板的方法，在鲁棒性与准确性方面表现如何？

主要发现

• 在批量优化后，该方法在 BUFF 数据集的前左视图上实现了 24.7 mm 的平均点到表面重建误差，显著低于仅人体基线的 29.2 mm。
• 加入褶皱提取后，前左视图的误差略微上升至 24.9 mm，表明褶皱建模在不降低几何精度的前提下提升了视觉真实感。
• 该方法在所有视图（前、前左、左）均降低了重建误差，表明对视角变化具有鲁棒性且性能稳定。
• 时序平滑与批量优化提升了视觉质量与时序一致性，尽管对定量误差影响较小，表明跟踪过程稳定。
• 定性结果表明，与基于体素、深度图或隐式函数的单图像回归方法相比，该方法在时序鲁棒性与一致的 3D 对应关系方面表现更优。
• 该方法成功从多样化的真实场景视频中捕捉到逼真的衣物动态，包括复杂褶皱与形变，且无需模板数据。