[论文解读] MonoCap: Monocular Human Motion Capture using a CNN Coupled with a Geometric Prior

Xiaowei Zhou, Menglong Zhu+4 more|arXiv (Cornell University)|Jan 9, 2017

Human Pose and Action Recognition参考文献 55被引用 18

一句话总结

MonoCap 提出了一种单目 3D 人体动作捕捉方法，通过 EM 框架将基于 CNN 的 2D 姿态估计算法与几何 3D 姿态先验相结合，实现了从单个 RGB 视频中无标记的鲁棒 3D 重建。通过边缘化 2D 检测不确定性并强制执行时间平滑性，该方法在基准数据集上实现了最先进（SOTA）的精度。

ABSTRACT

Recovering 3D full-body human pose is a challenging problem with many applications. It has been successfully addressed by motion capture systems with body worn markers and multiple cameras. In this paper, we address the more challenging case of not only using a single camera but also not leveraging markers: going directly from 2D appearance to 3D geometry. Deep learning approaches have shown remarkable abilities to discriminatively learn 2D appearance features. The missing piece is how to integrate 2D, 3D and temporal information to recover 3D geometry and account for the uncertainties arising from the discriminative model. We introduce a novel approach that treats 2D joint locations as latent variables whose uncertainty distributions are given by a deep fully convolutional neural network. The unknown 3D poses are modeled by a sparse representation and the 3D parameter estimates are realized via an Expectation-Maximization algorithm, where it is shown that the 2D joint location uncertainties can be conveniently marginalized out during inference. Extensive evaluation on benchmark datasets shows that the proposed approach achieves greater accuracy over state-of-the-art baselines. Notably, the proposed approach does not require synchronized 2D-3D data for training and is applicable to "in-the-wild" images, which is demonstrated with the MPII dataset.

研究动机与目标

• 解决从单目 RGB 视频中无标记或同步 2D-3D 注释进行 3D 人体姿态估计的挑战。
• 通过整合 2D 外观特征、3D 几何先验和时间一致性，克服单目 3D 姿态恢复中的固有模糊性。
• 开发一种概率框架，将 2D 关节位置视为带有不确定性的隐变量，从而在遮挡和检测误差下实现鲁棒推理。
• 通过避免依赖标记系统或多相机系统，使方法可应用于非受限的、‘真实世界’的图像。
• 通过在推理过程中利用 3D 几何约束，提升 2D 姿态定位精度。

提出的方法

• 使用深层全卷积神经网络（hourglass 架构）生成表示 2D 关节位置不确定性的热力图。
• 使用在学习到的 3D 姿态词典上的稀疏表示来建模 3D 人体姿态。
• 将推理表述为期望最大化（EM）算法，其中在 3D 姿态估计过程中对 2D 检测不确定性进行边缘化。
• 对 3D 姿态和视角参数施加时间平滑性约束，以提高鲁棒性并处理跟踪失败。
• 在统一的概率框架中整合 2D 外观特征（来自 CNN）和 3D 几何先验（来自稀疏表示）。
• 通过最小化重建损失来优化 3D 姿态估计，使预测的 2D 投影与观测到的热力图对齐。

实验结果

研究问题

• RQ1 基于深度 CNN 的 2D 姿态估计算法能否与 3D 几何先验有效结合，以提升从单目视频中进行 3D 人体姿态估计的性能？
• RQ2 在 3D 重建过程中，如何建模并边缘化 2D 关节检测的不确定性，以提升鲁棒性？
• RQ3 3D 姿态序列中的时间平滑性在多大程度上能提升重建精度和稳定性？
• RQ4 所提出的方法能否在无需同步 2D-3D 训练数据的情况下，泛化到非受限的、‘真实世界’的图像？
• RQ5 在存在遮挡和外观变化的情况下，引入 3D 几何先验是否能提升 2D 关键点定位的准确性？

主要发现

• MonoCap 在 Human3.6M 和 MPII 基准数据集上实现了最先进（SOTA）的 3D 姿态估计精度，优于现有的单目方法。
• 在 S9 'Directions' 序列上，该方法将平均 3D 重建误差降低至 44.4 mm，且在使用 128 个词典大小时性能随词典增大而进一步提升。
• 基于 EM 的框架有效边缘化了 2D 检测不确定性，即使在热力图噪声大或不准确时，也能生成更精确的 3D 姿态估计。
• 时间平滑性约束显著提升了鲁棒性，减少了漂移并提高了帧间的一致性。
• 该方法在无需训练时使用同步 2D-3D 注释的情况下，对‘真实世界’图像具有良好的泛化能力，如 MPII 数据集所示。
• 3D 先验的整合不仅提升了 3D 重建性能，还增强了 2D 关键点定位，显示出 2D 与 3D 建模之间的相互增益。