[论文解读] AbsPoseLifter: Absolute 3D Human Pose Lifting Network from a Single Noisy 2D Human Pose

Ju Yong Chang, Gyeongsik Moon+1 more|arXiv (Cornell University)|Oct 26, 2019

Human Pose and Action Recognition参考文献 46被引用 13

一句话总结

该论文提出PoseLifter，一种深度学习网络，可将单个嘈杂的2D人体姿态提升为相机坐标系中的绝对3D姿态。通过在训练过程中利用真实的2D姿态误差，该方法在公共基准测试中实现了2D到3D姿态提升以及单图像3D人体姿态估计的最先进性能。

ABSTRACT

This study presents a new network (i.e., PoseLifter) that can lift a 2D human pose to an absolute 3D pose in a camera coordinate system. The proposed network estimates the absolute 3D location of a target subject and generates an improved 3D relative pose estimation compared with existing pose-lifting methods. Using the PoseLifter with a 2D pose estimator in a cascade fashion can estimate a 3D human pose from a single RGB image. In this case, we empirically prove that using realistic 2D poses synthesized with the real error distribution of 2D body joints considerably improves the performance of our PoseLifter. The proposed method is applied to public datasets to achieve state-of-the-art 2D-to-3D pose lifting and 3D human pose estimation.

研究动机与目标

• 解决从单张RGB图像中将2D人体姿态提升为相机坐标系中的绝对3D姿态的挑战。
• 通过建模2D关键点预测中的真实噪声分布，提高3D姿态估计的准确性。
• 开发一种能良好泛化到具有固有误差的现实世界2D姿态输出的方法。
• 在2D到3D姿态提升以及端到端3D人体姿态估计中实现最先进性能。

提出的方法

• 网络端到端训练，从单个2D姿态输入预测相机坐标系中的绝对3D关节位置。
• 采用一种新颖的训练策略，合成具有匹配真实世界2D关键点估计器误差分布的2D姿态。
• 架构结合2D姿态编码器与3D姿态解码器，将相对3D姿态估计结果精炼为绝对3D坐标。
• 采用级联设置，包含2D姿态估计器，其中2D输出在训练期间被添加真实噪声。
• 使用3D关键点回归损失与几何一致性正则化相结合的方式进行网络优化。

实验结果

研究问题

• RQ1 2D到3D姿态提升网络能否泛化到具有真实噪声分布的现实世界2D姿态输出？
• RQ2 使用模拟真实误差模式的合成2D姿态进行训练，是否能提升绝对3D姿态估计性能？
• RQ3 所提方法能否在单图像3D人体姿态估计中实现最先进结果？
• RQ4 该网络预测绝对3D姿态的能力与相对姿态提升基线方法相比如何？

主要发现

• 所提出的PoseLifter在公开的2D到3D姿态提升基准测试中实现了最先进性能。
• 使用具有真实误差分布的合成2D姿态显著提升了网络的泛化能力与最终3D姿态准确性。
• 该方法在绝对3D姿态估计方面优于现有姿态提升方法，尤其在2D输入存在噪声时表现更优。
• 通过2D姿态估计器与PoseLifter的级联设置，实现了从单张RGB图像的端到端3D人体姿态估计。