[论文解读] LiveCap: Real-time Human Performance Capture from Monocular Video

Marc Habermann, Weipeng Xu+3 more|arXiv (Cornell University)|Oct 5, 2018

3D Shape Modeling and Analysis参考文献 95被引用 9

一句话总结

LiveCap 首次实现了从单个 RGB 视频流中实时进行密集、时空一致的全身人体动作三维重建，包括宽松衣物的动态变形。该方法采用两阶段优化策略，结合 GPU 加速、数据并行的高斯-牛顿求解器，联合拟合一个带有蒙皮的模板至 2D/3D 关节、面部特征点和轮廓，随后利用材料感知的能量函数追踪密集的非刚性形变，实现超过 25Hz 的性能，且精度与离线方法相当。

ABSTRACT

We present the first real-time human performance capture approach that reconstructs dense, space-time coherent deforming geometry of entire humans in general everyday clothing from just a single RGB video. We propose a novel two-stage analysis-by-synthesis optimization whose formulation and implementation are designed for high performance. In the first stage, a skinned template model is jointly fitted to background subtracted input video, 2D and 3D skeleton joint positions found using a deep neural network, and a set of sparse facial landmark detections. In the second stage, dense non-rigid 3D deformations of skin and even loose apparel are captured based on a novel real-time capable algorithm for non-rigid tracking using dense photometric and silhouette constraints. Our novel energy formulation leverages automatically identified material regions on the template to model the differing non-rigid deformation behavior of skin and apparel. The two resulting non-linear optimization problems per-frame are solved with specially-tailored data-parallel Gauss-Newton solvers. In order to achieve real-time performance of over 25Hz, we design a pipelined parallel architecture using the CPU and two commodity GPUs. Our method is the first real-time monocular approach for full-body performance capture. Our method yields comparable accuracy with off-line performance capture techniques, while being orders of magnitude faster.

研究动机与目标

• 实现从单个 RGB 视频流中实时、密集地重建全身人体运动与形变。
• 通过利用预训练的、包含分割皮肤与服装区域的模板，克服单目视频的高模糊性与欠约束问题。
• 在保持时空一致性和高几何精度的同时，实现超过 25Hz 的实时性能。
• 在无需多视角或深度传感器的情况下，支持复杂且宽松的衣物形变。
• 通过消除对专用摄像机阵列或受控环境的需求，使高质量动作捕捉技术更加普及。

提出的方法

• 采用两阶段分析-合成优化：首先，使用实时骨骼姿态优化器，将带蒙皮的模板粗略拟合至 2D/3D 关节位置、面部特征点和前景轮廓。
• 第二阶段通过一种新颖的能量公式执行密集的非刚性追踪，该公式结合了光度、轮廓和时空正则化项。
• 能量函数利用预处理阶段基于多视角深度学习的分割管道生成的分割标签，区分皮肤与服装区域的形变行为。
• 非线性优化问题通过专门设计、数据并行的高斯-牛顿求解器在 CPU 和两块 GPU 上以流水线架构运行求解。
• 采用基于距离场的轮廓对齐方法替代 ICP，实现更快、更适配 GPU 的计算，避免昂贵的对应关系搜索。
• 系统使用预先捕获的静态视频构建带绑定的表面与外观模板，并自动识别材料区域。

实验结果

研究问题

• RQ1 能否从单个单目 RGB 视频流中实时重建密集、时空一致的三维人体几何结构？
• RQ2 当仅有一个视角时，如何准确建模并追踪宽松衣物的非刚性形变？
• RQ3 单目系统能否在超过 25Hz 的帧率下实现与离线多视角动作捕捉方法相当的性能质量？
• RQ4 在单视角、实时设置下，如何有效建模材料特异性形变行为（如皮肤与服装）？
• RQ5 为实现在消费级硬件上的实时性能，需要哪些架构与算法优化？

主要发现

• LiveCap 在消费级硬件上实现了超过 25Hz 的实时性能，支持虚拟现实、增强现实和远程存在等交互式应用。
• 该方法能够生成密集、时空一致的全身人体动作三维重建，包括宽松衣物，其精度与最先进的离线动作捕捉技术相当。
• 采用材料感知的形变建模显著提升了重建质量，尤其在动态、非刚性服装区域表现更优。
• 系统对部分遮挡和自遮挡具有鲁棒性，在被遮挡区域重新出现时能快速恢复。
• 局限性包括对前景分割质量敏感、对超出训练分布的极端姿态敏感，以及在镜面材质或强光照变化下存在挑战。
• 尽管存在单目模糊性，该方法仍保持了时间稳定性，并通过联合优化修正了部分错误的关节点预测。