[论文解读] CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark

Jiefeng Li, Can Wang+4 more|arXiv (Cornell University)|Dec 2, 2018

Human Pose and Action Recognition参考文献 28被引用 41

一句话总结

该论文引入联合候选 SPPE 和全局最大关节关联以提升拥挤场景中的多人姿态估计，并提出 CrowdPose 数据集；它在 CrowdPose 上实现 5.2 mAP 增益，并对 MSCOCO 展现泛化能力。

ABSTRACT

Multi-person pose estimation is fundamental to many computer vision tasks and has made significant progress in recent years. However, few previous methods explored the problem of pose estimation in crowded scenes while it remains challenging and inevitable in many scenarios. Moreover, current benchmarks cannot provide an appropriate evaluation for such cases. In this paper, we propose a novel and efficient method to tackle the problem of pose estimation in the crowd and a new dataset to better evaluate algorithms. Our model consists of two key components: joint-candidate single person pose estimation (SPPE) and global maximum joints association. With multi-peak prediction for each joint and global association using graph model, our method is robust to inevitable interference in crowded scenes and very efficient in inference. The proposed method surpasses the state-of-the-art methods on CrowdPose dataset by 5.2 mAP and results on MSCOCO dataset demonstrate the generalization ability of our method. Source code and dataset will be made publicly available.

研究动机与目标

• 在遮挡和叠加导致性能下降的拥挤场景中，推动姿态估计的改进。
• 开发一个快速、鲁棒的方法，利用全局信息来解决模糊的关节定位。
• 创建一个具有均匀拥挤程度的数据集，以在非拥挤和拥挤场景中评估性能。
• 在 MSCOCO 上展示该方法的泛化能力，并提供公开可获取的代码和数据。

提出的方法

• 使用带有人体提案和单人姿态估计的两阶段自上而下管线。
• 引入联合候选 SPPE，预测每个关节的多个候选关节，包含目标关节和干扰关节。
• 构建一个将人提案和关节候选连接起来的个体-关节图。
• 应用全局最大关节关联，使用分解为 K 个二部图子问题的图匹配形式，采用 Kuhn–Munkres 算法求解。
• 通过证明该方法的复杂性与贪婪 NMS 相近并利用稀疏性来确保计算效率。

实验结果

研究问题

• RQ1 在拥挤场景中，姿态估计如何对来自邻近个体的干扰保持鲁棒？
• RQ2 联合候选、多峰方法是否能在不牺牲精度的前提下提高对真实关节的召回率？
• RQ3 全局的基于图的关联是否能相比局部或贪婪方法提升正确的关节到个体的分配？
• RQ4 所提出的 CrowdPose 数据集在非拥挤和拥挤场景下的评估支持程度以及对泛化的促进程度如何？

主要发现

• 在相同骨架的前提下，所提出的方法在 CrowdPose 上超越了先进水平 5.2 mAP。
• 在 MSCOCO 上，用所提模块替代 SPPE 和后处理可获得 +0.8 mAP。
• 该方法在 CrowdPose 测试集上达到 10.1 FPS，在拥挤场景中取得精度和速度的平衡。
• CrowdPose 数据集显示出均匀的 Crowd Index 分布，并且平均边界框 IoU（0.27）高于 MSCOCO、MPII 和 AI Challenger，支持多样化评估。
• 联合候选损失相较于使用标准损失显著提高 mAP（66.0% 对 61.7%）。