[论文解读] MoCap-guided Data Augmentation for 3D Pose Estimation in the Wild

Grégory Rogez, Cordelia Schmid|arXiv (Cornell University)|Jul 7, 2016

Human Pose and Action Recognition参考文献 43被引用 194

一句话总结

本论文提出一个基于图像的合成引擎，使用 MoCap 数据来用 3D 姿态注释增强真实的 2D 姿态图像，并训练一个 K 类 CNN 分类器来进行全身 3D 姿态估计，在受控数据集上优于现有方法，并在真实场景图像上展现出潜力。

ABSTRACT

This paper addresses the problem of 3D human pose estimation in the wild. A significant challenge is the lack of training data, i.e., 2D images of humans annotated with 3D poses. Such data is necessary to train state-of-the-art CNN architectures. Here, we propose a solution to generate a large set of photorealistic synthetic images of humans with 3D pose annotations. We introduce an image-based synthesis engine that artificially augments a dataset of real images with 2D human pose annotations using 3D Motion Capture (MoCap) data. Given a candidate 3D pose our algorithm selects for each joint an image whose 2D pose locally matches the projected 3D pose. The selected images are then combined to generate a new synthetic image by stitching local image patches in a kinematically constrained manner. The resulting images are used to train an end-to-end CNN for full-body 3D pose estimation. We cluster the training data into a large number of pose classes and tackle pose estimation as a K-way classification problem. Such an approach is viable only with large training sets such as ours. Our method outperforms the state of the art in terms of 3D pose estimation in controlled environments (Human3.6M) and shows promising results for in-the-wild images (LSP). This demonstrates that CNNs trained on artificial images generalize well to real images.

研究动机与目标

• 解决野外场景中缺乏大规模 3D 人体姿态训练数据的问题。
• 开发一种基于图像的合成引擎，将 MoCap 的 3D 姿态与真实的 2D 姿态图像融合，创建带有 3D 注释的合成训练数据。
• 训练一个端到端的 CNN 分类器，将 3D 姿态作为 K 位姿态分类问题进行处理。
• 证明在合成数据+真实数据上训练的 CNN 能够泛化到真实野外图像，并在受控数据集上优于现有方法。

提出的方法

• 使用 MoCap 指导的马赛克构建，通过从真实图像中选择并拼接关节中心的图像补丁来组装合成的 2D 姿态图像。
• 定义一个 2D 姿态之间的姿态感知距离 D_j，以找到与给定 3D 姿态最佳对齐的逐关节匹配。
• 通过构建像素级关节源匹配的概率图并应用运动学受限的马赛克，渲染一个 220x220 的合成图像。
• 应用一种新颖的姿态感知混合步骤，以在保持身体区域的同时平滑接缝，避免伪影。
• 训练一个端到端的 CNN 分类器（基于类似 AlexNet 的架构），将 3D 姿态聚类为 K=5000 个姿态类别，并给出这些类别的概率分布；在分类预测后评估绝对对齐和朝向感知姿态。

实验结果

研究问题

• RQ1 MoCap 驱动的图像合成是否能够生成具有准确 3D 姿态注释的真实世界训练图像？
• RQ2 在合成数据+真实数据上训练的 CNN 是否比仅使用真实数据或仅使用合成数据更能提升 3D 姿态估计？
• RQ3 姿态类别数量（K）和合成数据量对野外 3D 姿态性能有何影响？
• RQ4 所提出的方法在受控数据集（Human3.6M）和野外数据集（LSP）上与现有最先进方法相比如何？

主要发现

• 仅使用合成数据训练在比仅使用真实数据时有显著提升，合成数据+真实数据的组合达到最佳结果。
• 在 Human3.6M（P1 方案）中，使用合成数据训练的回归器达到 101.9 mm Abs Error 和 97.2 mm Error；在同一设置下，使用合成数据训练的分类器达到 97.2 mm Abs Error 和 88.1 mm Error（以 190,000 个 3D 姿态计），合成+真实的组合在分类任务上达到 125.5 mm Abs Error 和 88.1 mm Error（绝对对齐）。
• 在 P2 方案下，分类器在使用合成+真实数据时达到 87.3 mm 的 3D 误差（绝对值），相比回归器的 121.2 mm。
• 在 LSP 上，使用 MPII+LSP 与 CMU 数据和 2 百万张合成图像将 2D 姿态误差降至 11.2 像素，3D 姿态误差降至 138.0 mm（相较于更高的基线），而 H3.6M 的 2D 误差提升到 216.5 Abs？否：3D 来源组合的 216.5 Abs；P2 类似设置的 138.0 mm 3D 误差；该方法在 2D 姿态估计基线上保持竞争力。
• 通过对 VGG-16 的变体进行微调，2D 姿态误差比基于 AlexNet 的设置又下降 2.3 像素。
• 定性结果显示正确的 3D 姿态估计，亦存在由于未见姿态或左右/前后混淆导致的若干失败案例。