[论文解读] Recent Advances in Monocular 2D and 3D Human Pose Estimation: A Deep Learning Perspective

Wu Liu, Qian Bao+2 more|arXiv (Cornell University)|Apr 23, 2021

Human Pose and Action Recognition被引用 9

一句话总结

本综述从2014年至2021年系统性地提供了关于单目2D与3D人体姿态估计的全面、统一的深度学习视角，对最先进方法进行了系统分类，分析了遮挡和深度模糊等关键挑战，并就姿态表示、基准数据集和未来研究方向提供了深入见解，同时发布了用于3D姿态处理的公开代码工具箱。

ABSTRACT

Estimation of the human pose from a monocular camera has been an emerging research topic in the computer vision community with many applications. Recently, benefited from the deep learning technologies, a significant amount of research efforts have greatly advanced the monocular human pose estimation both in 2D and 3D areas. Although there have been some works to summarize the different approaches, it still remains challenging for researchers to have an in-depth view of how these approaches work. In this paper, we provide a comprehensive and holistic 2D-to-3D perspective to tackle this problem. We categorize the mainstream and milestone approaches since the year 2014 under unified frameworks. By systematically summarizing the differences and connections between these approaches, we further analyze the solutions for challenging cases, such as the lack of data, the inherent ambiguity between 2D and 3D, and the complex multi-person scenarios. We also summarize the pose representation styles, benchmarks, evaluation metrics, and the quantitative performance of popular approaches. Finally, we discuss the challenges and give deep thinking of promising directions for future research. We believe this survey will provide the readers with a deep and insightful understanding of monocular human pose estimation.

研究动机与目标

• 提供一个从2D到3D的全景视角，弥合2D关键点检测与3D姿态估计之间的差距。
• 在统一框架下，系统性地对主流基于深度学习的2D与3D姿态估计方法进行分类与分析。
• 解决单目姿态估计中的关键挑战，如数据稀缺、2D-3D模糊性以及复杂多人群场景。
• 总结姿态表示风格、基准数据集、评估指标以及领先方法在定量性能上的表现。
• 识别开放性挑战，并提出有前景的未来研究方向，包括弱监督学习与3D场景交互建模。

提出的方法

• 基于网络架构、监督策略和任务设定，将基于深度学习的2D与3D姿态估计方法统一归类为连贯的框架。
• 分析2D与3D姿态估计方法之间的内在联系与差异，强调2D作为3D预测中间表示的作用。
• 回顾并比较多种姿态表示格式，包括热力图、关键点坐标以及基于3D网格的表示。
• 调研COCO、MPII、Human3.6M和3DPW等基准数据集，并使用标准指标如OKS、PCK和MPJPE评估性能。
• 介绍并讨论高级技术，如多阶段推理、多任务学习以及人体模型拟合（例如SMPL），以提升3D形状与姿态恢复效果。
• 发布一个公开的3D姿态数据处理代码工具箱，以支持研究的可复现性并推动社区进一步研究。

实验结果

研究问题

• RQ1 在架构、监督方式和表示形式方面，最具影响力的基于深度学习的2D与3D人体姿态估计方法之间有何关联？
• RQ2 单目3D姿态估计中的关键挑战是什么，特别是深度模糊性、遮挡以及多人交互问题？
• RQ3 不同姿态表示风格（如热力图、3D坐标、SMPL参数）如何影响性能与泛化能力？
• RQ4 当前基准与评估指标在反映真实世界性能与鲁棒性方面存在哪些局限性？
• RQ5 未来研究方向中，如弱监督学习、3D场景感知建模以及虚拟数字人生成，哪些最具潜力推动该领域发展？

主要发现

• 综述识别出一种显著趋势：统一框架通过将2D姿态估计作为3D预测的中间步骤，显著提升了准确率与鲁棒性。
• 最先进方法在COCO和MPII等基准上表现优异，顶尖模型在COCO上OKS得分超过95%，在Human3.6M上MPJPE低于20 mm。
• 将3D人体模型（如SMPL）与深度神经网络结合，可实现端到端的3D形状与姿态估计，尤其在非受限环境中表现优异。
• 由于遮挡与人与人之间的相互作用，多人3D姿态估计仍具挑战性，多数方法依赖2D检测作为前提，限制了实时性能。
• 缺乏大规模、全标注的3D数据集，尤其在全身、多智能体及场景级交互方面，仍是推动3D姿态估计发展的主要瓶颈。
• 未来方向如弱监督学习、合成数据生成与3D场景感知建模，被识别为克服数据稀缺问题并提升泛化能力的关键路径。