[论文解读] Dual Path Networks for Multi-Person Human Pose Estimation

Guanghan Ning, Zhihai He|arXiv (Cornell University)|Oct 27, 2017

Human Pose and Action Recognition参考文献 30被引用 10

一句话总结

该论文提出了一种用于多人姿态估计的双路神经网络，分别使用DenseNet分支和ResNeXt分支独立回归关键点热力图和部件关联场（PAFs）。尽管模型更小、更快，但在PoseTrack数据集上实现了优于OpenPose的精度，表现出SOTA性能：在3个阶段下mAP达到62.4%，单张Titan X GPU上的推理时间为186.6ms。

ABSTRACT

The task of multi-person human pose estimation in natural scenes is quite challenging. Existing methods include both top-down and bottom-up approaches. The main advantage of bottom-up methods is its excellent tradeoff between estimation accuracy and computational cost. We follow this path and aim to design smaller, faster, and more accurate neural networks for the regression of keypoints and limb association vectors. These two regression tasks are naturally dependent on each other. In this work, we propose a dual-path network specially designed for multi-person human pose estimation, and compare our performance with the openpose network in aspects of model size, forward speed, and estimation accuracy.

研究动机与目标

• 设计一种更小、更快、更准确的神经网络，用于多人姿态估计。
• 在降低计算成本和模型大小的同时，提高关键点和PAF回归的精度。
• 解决自下而上姿态估计中关键点检测与肢体关联之间的相互依赖问题。
• 证明双路架构可在效率和精度上超越现有模型（如OpenPose）。
• 提供一种通用框架，不限于PAFs或特定关联技术。

提出的方法

• 网络采用双路架构：一路基于DenseNet用于PAF回归，另一路基于ResNeXt用于关键点热力图回归。
• 两条分支在每个阶段分别使用L2损失函数进行联合训练，分别监督关键点热力图和PAF向量场。
• 将VGG-16主干网络（前16层）的特征图输入重复的子网络，每个子网络包含一个DPN模块，该模块融合具有不同通道增长模式的两条分支。
• DPN模块通过保持一条分支通道数恒定，另一条分支通道数随块数累积，以增强特征表示能力。
• 模型采用多阶段监督进行端到端训练，每个阶段均生成预测，并由真实热力图和PAFs进行监督。
• 在PoseTrack数据集上评估该框架，采用与OpenPose相同的训练和测试协议，以确保公平比较。

实验结果

研究问题

• RQ1 双路网络架构是否能在降低模型大小和推理时间的同时提升多人姿态估计的精度？
• RQ2 关键点检测与PAF回归之间的相互依赖关系在多大程度上影响整体性能？
• RQ3 轻量化、高效的网络是否能在标准基准上同时超越OpenPose的精度和速度？
• RQ4 通用双路设计在多大程度上可泛化至基于PAFs的关联方法之外？
• RQ5 带有中间监督的多阶段监督是否能提升收敛速度和最终精度？

主要发现

• 所提模型在PoseTrack测试集上达到62.4%的平均精度（mAP），优于OpenPose在6个阶段下的59.5% mAP。
• 即使仅使用3个阶段，该网络的mAP也达到58.5%，超过OpenPose在3个阶段下的54.4% mAP。
• 模型显著更快，每帧前向传播时间为186.6ms，而OpenPose在6个阶段下为155.8ms，表明每步推理效率更高。
• 模型小得多，3个阶段下仅43.7MB，远小于OpenPose的103.8MB，显著降低了模型大小。
• 尽管计算复杂度更低、参数更少，双路网络仍实现了比OpenPose更高的精度，证明其在效率-精度权衡上的优越性。
• 消融实验证实，双路设计能有效利用关键点与PAF回归之间的依赖关系，从而提升整体性能。