[论文解读] Dite-HRNet: Dynamic Lightweight High-Resolution Network for Human Pose Estimation

Qun Li, Ziyi Zhang+3 more|arXiv (Cornell University)|Apr 22, 2022

Human Pose and Action Recognition参考文献 23被引用 9

一句话总结

Dite-HRNet 提出了一种用于人体姿态估计的动态轻量化高分辨率网络，通过动态分割卷积（DSC）和自适应上下文建模（ACM）提升特征提取能力和长距离空间依赖性。通过将这些模块嵌入专门设计的动态模块中，该模型在 COCO 和 MPII 数据集上的参数量和 FLOPs 均低于现有轻量化网络的同时，实现了最先进（SOTA）的精度表现。

ABSTRACT

A high-resolution network exhibits remarkable capability in extracting multi-scale features for human pose estimation, but fails to capture long-range interactions between joints and has high computational complexity. To address these problems, we present a Dynamic lightweight High-Resolution Network (Dite-HRNet), which can efficiently extract multi-scale contextual information and model long-range spatial dependency for human pose estimation. Specifically, we propose two methods, dynamic split convolution and adaptive context modeling, and embed them into two novel lightweight blocks, which are named dynamic multi-scale context block and dynamic global context block. These two blocks, as the basic component units of our Dite-HRNet, are specially designed for the high-resolution networks to make full use of the parallel multi-resolution architecture. Experimental results show that the proposed network achieves superior performance on both COCO and MPII human pose estimation datasets, surpassing the state-of-the-art lightweight networks. Code is available at: https://github.com/ZiyiZhang27/Dite-HRNet.

研究动机与目标

• 解决现有轻量化高分辨率网络中静态、与输入无关的模块在人体姿态估计任务中的局限性。
• 在不增加计算复杂度的前提下，改进轻量化 HRNet 中的长距离空间依赖性建模能力。
• 设计动态、自适应的组件，以优化模型容量与效率之间的权衡。
• 在标准基准（COCO 和 MPII）上，相比现有轻量化架构，实现更优的精度与效率表现。

提出的方法

• 提出动态分割卷积（DSC），一种可学习、输入自适应的卷积机制，可动态划分通道并调整卷积核数量，以在多尺度特征提取与计算成本之间实现平衡。
• 引入自适应上下文建模（ACM），一种可学习模块，通过关注特征图间的长距离依赖关系，捕捉局部与全局空间模式。
• 通过将 DSC 和 ACM 集成到 HRNet 的并行多分辨率分支中，设计了两种新型动态轻量化模块：动态多尺度上下文模块与动态全局上下文模块。
• 将 DSC 配置为两个超参数：卷积核数量（N）和组数（G），并针对每个分辨率分支进行优化，以最大化效率与精度。
• 采用渐进式消融策略，在 COCO 和 MPII 数据集上分别验证 DSC 和 ACM 的独立贡献与联合效果。
• 使用修改后的 HRNet 主干网络，以动态模块替代标准残差块，实现在保留高分辨率表示的同时，实现输入相关的特征学习。

Figure 1: Overall architecture of Dite-HRNet. It uses HRNet Sun et al. ( 2019 ) as backbone, adapted by two proposed dynamic blocks. The cross-resolution modules are marked with blue areas.

实验结果

研究问题

• RQ1 输入自适应卷积机制是否能提升轻量化高分辨率网络在人体姿态估计中的效率与精度？
• RQ2 如何在不增加 FLOPs 的前提下，有效建模轻量化 HRNet 中的长距离空间依赖性？
• RQ3 将动态多尺度特征提取与自适应全局上下文建模相结合，是否能优于静态模块设计？
• RQ4 与 SOTA 轻量化网络（如 Lite-HRNet）相比，动态模块是否能在更低计算成本下实现更优精度？

主要发现

• Dite-HRNet-18 在 COCO val2017 上达到 65.9 AP，在 MPII 上达到 87.0 PCKh，优于 Lite-HRNet-18（64.8 AP，86.1 PCKh），且仅使用 1.1M 参数和 209.8 MFLOPs。
• 结合 ACM 与 DSC 的模型在 COCO 上达到 65.6 AP，在 MPII 上达到 86.7 PCKh，显著提升精度，且额外 FLOPs 极少。
• Dite-HRNet-18 在 COCO 上所有轻量化网络中表现最佳，PCKh@0.5 达 87.6，尽管参数和 FLOPs 均少于 Lite-HRNet-30。
• 消融实验确认 DSC 和 ACM 均具有效性：DSC 提升多尺度特征学习能力，ACM 增强长距离空间建模能力。
• 最优 DSC 配置为：在从高到低分辨率分支上分别设置 N = 4,4,2,1 和 G = 1,1,2,4，实现精度与效率的平衡。
• Dite-HRNet-18 在显著更低的 FLOPs 和参数量下，优于 MobileNetV2、MobileNetV3、ShuffleNetV2 和 Small HRNet。

Figure 2: Structures of Dynamic Multi-scale Context (DMC) block and Dynamic Global Context (DGC) block. Dynamic Kernel Aggregation (DKA) is applied to Dynamic Split Convolution (DSC) in the DMC block and each convolution in the DGC block. DCM (Dense Context Modeling) and GCM (Global Context Modeling