[论文解读] EfficientHRNet: Efficient Scaling for Lightweight High-Resolution Multi-Person Pose Estimation

Christopher Neff, Aneri Sheth+2 more|arXiv (Cornell University)|Jul 15, 2020

Human Pose and Action Recognition被引用 15

一句话总结

EfficientHRNet 提出了一类轻量级、可扩展的高分辨率网络，用于实时自下而上的多人员 2D 人体姿态估计。通过采用受 EfficientNet 启发的复合缩放策略，联合缩放输入分辨率、主干网络和高分辨率特征流，该方法在模型参数量仅为 HigherHRNet 的 1/3、计算量仅为 1/6 的情况下实现了最先进精度，在 NVIDIA Jetson Xavier 上达到 23 FPS 的推理速度。

ABSTRACT

There is an increasing demand for lightweight multi-person pose estimation for many emerging smart IoT applications. However, the existing algorithms tend to have large model sizes and intense computational requirements, making them ill-suited for real-time applications and deployment on resource-constrained hardware. Lightweight and real-time approaches are exceedingly rare and come at the cost of inferior accuracy. In this paper, we present EfficientHRNet, a family of lightweight multi-person human pose estimators that are able to perform in real-time on resource-constrained devices. By unifying recent advances in model scaling with high-resolution feature representations, EfficientHRNet creates highly accurate models while reducing computation enough to achieve real-time performance. The largest model is able to come within 4.4% accuracy of the current state-of-the-art, while having 1/3 the model size and 1/6 the computation, achieving 23 FPS on Nvidia Jetson Xavier. Compared to the top real-time approach, EfficientHRNet increases accuracy by 22% while achieving similar FPS with 1/3 the power. At every level, EfficientHRNet proves to be more computationally efficient than other bottom-up 2D human pose estimation approaches, while achieving highly competitive accuracy.

研究动机与目标

• 解决资源受限的物联网和边缘设备缺乏轻量级、实时自下而上的多人员 2D 人体姿态估计方法的问题。
• 克服现有轻量级姿态估计方法中模型效率与精度之间的权衡。
• 开发一种可扩展架构，在显著降低计算成本和模型大小的同时保持高精度。
• 实现在低功耗边缘硬件（如 NVIDIA Jetson Xavier）上的实时推理，支持持续监控类应用。
• 提供一个灵活的模型家族，可根据实际部署中对精度和效率的不同需求进行调节。

提出的方法

• 将 EfficientNet 中的复合缩放方法适配到自下而上的人体姿态估计任务中，以统一方式联合缩放输入分辨率、主干网络和高分辨率特征网络。
• 集成 HRNet 中的高分辨率特征表示机制，以在特征提取的所有阶段保持空间细节。
• 采用多分辨率特征融合策略，在整个网络中保持高分辨率表示，从而提升关键点定位精度。
• 通过调整缩放系数 φ，设计一系列可扩展的模型（H₀ 到 H₋₄），实现精度与效率之间的灵活权衡。
• 优化网络架构，在保持 COCO 数据集上竞争力表现的同时，减少 FLOPs 和参数量。
• 在 ImageNet 上独立评估主干网络变体，以验证其泛化能力和效率增益。

实验结果

研究问题

• RQ1 是否可以有效应用统一的复合缩放策略于自下而上的姿态估计任务中，以同时减少模型大小、FLOPs 和推理时间，同时保持高精度？
• RQ2 与独立缩放相比，联合缩放输入分辨率、主干网络和高分辨率特征网络对关键点检测性能有何影响？
• RQ3 轻量级 HRNet 基架构在实现最先进精度的同时，能在边缘设备上实现多大程度的实时推理？
• RQ4 在精度、速度和能效方面，EfficientHRNet 与现有轻量级和最先进姿态估计模型相比表现如何？
• RQ5 在 EfficientHRNet 的可扩展模型家族中，模型大小、推理速度与精度之间的权衡关系如何？

主要发现

• 最大规模的 EfficientHRNet 模型（H₀）在 COCO2017 验证集上达到 64.8 AP，与最先进模型 HigherHRNet 相差仅 4.4%，同时模型大小减少 1/3，计算量减少 1/6。
• EfficientHRNet 在 NVIDIA Jetson Xavier NX 上实现 23 FPS，支持在低功耗边缘设备上实时推理。
• 与当前最佳实时方法 Lightweight OpenPose 相比，EfficientHRNet 将精度提升 10.1%，计算量减少 15%，功耗降低至 1/3。
• 与 HigherHRNet 和 PersonLab 相比，EfficientHRNet 将 FLOPs 减少 83–93%，同时保持 67.1–64.8 AP 的精度，实现 3.4 倍的 FPS 提升。
• 最小模型（H₋₄）实现 35.7 AP，推理速度达 50.96 FPS，效率得分为 3.397，适用于资源极度受限设备，在简单场景中可接受精度下实现部署。
• 定性分析表明，H₀ 的性能接近最先进模型，而较小的变体（H₋₁ 至 H₋₄）在关键点检测上仍保持高精度，但在复杂场景中需依赖后处理进行关键点分组。