[论文解读] A survey of top-down approaches for human pose estimation

Thong Duy Nguyen, Milan Kresovic|arXiv (Cornell University)|Feb 5, 2022

Video Surveillance and Tracking Methods被引用 10

一句话总结

本文全面综述了自2016年以来基于自顶向下的深度学习方法在2D人体姿态估计中的进展，重点聚焦于两阶段流程：首先通过目标检测器检测人体，然后在边界框内估计关键点姿态。文章突出展示了SOTA模型如CPN，其通过多阶段优化和多感受野特征融合提升了精度，在COCO测试开发集上达到73.0 AP。

ABSTRACT

Human pose estimation in two-dimensional images videos has been a hot topic in the computer vision problem recently due to its vast benefits and potential applications for improving human life, such as behaviors recognition, motion capture and augmented reality, training robots, and movement tracking. Many state-of-the-art methods implemented with Deep Learning have addressed several challenges and brought tremendous remarkable results in the field of human pose estimation. Approaches are classified into two kinds: the two-step framework (top-down approach) and the part-based framework (bottom-up approach). While the two-step framework first incorporates a person detector and then estimates the pose within each box independently, detecting all body parts in the image and associating parts belonging to distinct persons is conducted in the part-based framework. This paper aims to provide newcomers with an extensive review of deep learning methods-based 2D images for recognizing the pose of people, which only focuses on top-down approaches since 2016. The discussion through this paper presents significant detectors and estimators depending on mathematical background, the challenges and limitations, benchmark datasets, evaluation metrics, and comparison between methods.

研究动机与目标

• 提供自2016年以来基于深度学习的自顶向下2D人体姿态估计方法的详细综述。
• 分析自顶向下范式中领先目标检测器和姿态估计器的数学基础、网络架构与工作流程。
• 利用标准基准测试与评估指标（如AP、PCK和PCP）对SOTA方法进行评估与比较。
• 识别多人体姿态估计中的关键挑战与局限，特别是遮挡或难以检测的关键点。
• 通过整合自顶向下姿态估计的最新进展，为该领域的新研究者提供基础参考。

提出的方法

• 本文综述两阶段自顶向下框架，首先使用目标检测器进行人体检测，随后在每个检测到的边界框内进行关键点估计。
• 研究了如CPN（级联金字塔网络）等模型，其采用两阶段架构：GlobalNet用于初始关键点预测，RefineNet用于优化难以检测的关键点。
• RefineNet通过多层级特征融合与残差连接，聚合不同感受野的上下文信息，从而提升对遮挡或模糊关节的定位能力。
• 该方法采用基于热力图的回归，通过卷积神经网络生成的热力图预测关键点位置。
• 在RefineNet中引入在线难关键点挖掘，使训练聚焦于具有挑战性的遮挡、被遮挡或不可见关节。
• 框架在残差块中使用身份旁路连接，以实现深层网络中稳定的端到端训练与梯度传播。

实验结果

研究问题

• RQ1 自2016年以来，自顶向下深度学习方法在2D人体姿态估计中的架构与性能如何演变？
• RQ2 SOTA自顶向下模型中的关键设计选择是什么，这些选择如何提升对遮挡或不可见关节等挑战性关键点检测的精度？
• RQ3 不同评估指标（如AP、PCK和PCP）如何反映自顶向下姿态估计模型在基准数据集上的性能表现？
• RQ4 自顶向下方法在多人场景中的主要局限是什么，特别是在处理人群密集场景与人体重叠时？
• RQ5 特征融合策略与多感受野建模如何增强CPN等模型中的关键点定位能力？

主要发现

• CPN模型在COCO测试开发集上达到73.0的平均精度（AP），在测试挑战集上达到72.1，相较于COCO 2016关键点挑战赛的60.5结果提升了19%。
• RefineNet中使用多层级特征图显著提升了对困难关键点（如右肩、左膝、右髋）的检测能力，这些关键点常因遮挡或纹理不足而难以识别。
• RefineNet中集成的残差连接与身份映射有效支持反向传播，实现深层网络的稳定训练，从而带来性能提升。
• 基于热力图的回归结合多尺度特征融合，在处理模糊或遮挡的关键点定位方面优于直接回归方法。
• 两阶段自顶向下流程在COCO等多人数据集上表现强劲，尤其在结合在线难关键点挖掘与上下文感知特征聚合时。
• 评估指标如AP和PCKh（以躯干高度归一化的PCK）被证明在量化多人设置下的姿态估计精度方面非常有效。