[论文解读] A Dual-Source Approach for 3D Human Pose Estimation from a Single Image

Umar Iqbal, Andreas Doering+4 more|arXiv (Cornell University)|May 8, 2017

Human Pose and Action Recognition参考文献 36被引用 6

一句话总结

本文提出一种基于单张图像的3D人体姿态估计双源方法，通过结合3D动作捕捉数据与2D姿态标注图像，避免了对成对2D-3D训练数据的需求。该方法利用图像中的2D姿态估计以及从动作捕捉数据中检索最近邻3D姿态，即使在两大数据源的骨骼结构存在显著差异的情况下，仍能实现最先进性能，且监督程度显著降低。

ABSTRACT

In this work we address the challenging problem of 3D human pose estimation from single images. Recent approaches learn deep neural networks to regress 3D pose directly from images. One major challenge for such methods, however, is the collection of training data. Specifically, collecting large amounts of training data containing unconstrained images annotated with accurate 3D poses is infeasible. We therefore propose to use two independent training sources. The first source consists of accurate 3D motion capture data, and the second source consists of unconstrained images with annotated 2D poses. To integrate both sources, we propose a dual-source approach that combines 2D pose estimation with efficient 3D pose retrieval. To this end, we first convert the motion capture data into a normalized 2D pose space, and separately learn a 2D pose estimation model from the image data. During inference, we estimate the 2D pose and efficiently retrieve the nearest 3D poses. We then jointly estimate a mapping from the 3D pose space to the image and reconstruct the 3D pose. We provide a comprehensive evaluation of the proposed method and experimentally demonstrate the effectiveness of our approach, even when the skeleton structures of the two sources differ substantially.

研究动机与目标

• 解决获取大规模成对2D图像与精确3D姿态训练数据的挑战，以支持单图像3D人体姿态估计。
• 通过利用两个独立数据源——3D动作捕捉与2D姿态标注图像——减少对昂贵成对2D-3D数据集的依赖。
• 在深度传感器或多视角设置不切实际的非约束、真实世界场景中，实现准确的3D姿态估计。
• 开发一种对两大数据源之间骨骼结构差异具有鲁棒性的方法，例如关节配置不同。

提出的方法

• 通过虚拟相机投影将3D动作捕捉数据映射到归一化的2D姿态空间，以建立3D-2D对应关系。
• 使用MPII、Leeds Sports和MSCOCO等数据集，训练深度卷积神经网络以从非约束图像中估计2D姿态。
• 推理阶段，利用2D姿态估计结果，通过鲁棒相似性度量从动作捕捉数据库中检索最接近的3D姿态。
• 通过从3D姿态空间到图像空间的联合投影映射，基于2D估计结果优化3D姿态重建。
• 通过线性回归实现骨骼重定向，以对齐动作捕捉与基于图像的姿态数据集之间的不同关节结构。
• 该方法避免在成对2D-3D数据上进行端到端训练，而是通过将两个数据源独立处理，实现弱监督。

实验结果

研究问题

• RQ1 是否可以仅使用3D动作捕捉数据与2D姿态标注图像，而无需成对2D-3D训练样本，有效实现3D人体姿态估计？
• RQ2 当动作捕捉与基于图像的姿态数据集的骨骼结构不同时，该方法的性能如何变化？
• RQ3 2D姿态估计的精度在多大程度上影响最终的3D姿态估计性能？
• RQ4 该方法在推理阶段对2D姿态估计误差的鲁棒性如何？
• RQ5 该方法能否很好地泛化到训练过程中未见的非约束真实世界图像？

主要发现

• 当使用HumanEva动作捕捉数据时，该方法在HumanEva-I数据集上实现了31.5毫米的平均3D姿态误差，优于大多数现有方法。
• 当使用CMU动作捕捉数据时，误差为80.0毫米，但通过将CMU骨骼结构重定向以匹配HumanEva，误差降低至50.5毫米，表明骨骼差异的显著影响。
• 该方法在HumanEva-I数据集上实现了31.5毫米的平均误差，优于所有现有方法，仅除两种近期使用完全监督成对2D-3D数据的深度学习方法外。
• 通过改进2D姿态估计，该方法可显著简化，同时保持高性能，表明其与最先进2D姿态模型具有强大协同效应。
• 在MPII人体姿态数据集上的定性结果证实，该方法能良好泛化至复杂、非约束的真实世界图像。
• 消融实验表明，双源方法对2D姿态估计误差的变化以及骨骼结构不匹配具有鲁棒性。