[论文解读] Lite-HRNet: A Lightweight High-Resolution Network

Changqian Yu, Bin Xiao+5 more|arXiv (Cornell University)|Apr 13, 2021

Human Pose and Action Recognition参考文献 59被引用 11

一句话总结

Lite-HRNet 是一种用于人体姿态估计和语义分割的轻量化高分辨率网络，通过条件通道加权单元替代了拼接块中的计算成本较高的 1×1 卷积。该高效机制实现了线性复杂度的跨通道与跨分辨率特征融合，在 COCO 和 MPII 基准上实现了最先进的精度-效率权衡，其中 Lite-HRNet-30 在 Cityscapes 上达到 75.3% 的 mIoU，仅需 3.02 GFLOPs。

ABSTRACT

We present an efficient high-resolution network, Lite-HRNet, for human pose estimation. We start by simply applying the efficient shuffle block in ShuffleNet to HRNet (high-resolution network), yielding stronger performance over popular lightweight networks, such as MobileNet, ShuffleNet, and Small HRNet. We find that the heavily-used pointwise (1x1) convolutions in shuffle blocks become the computational bottleneck. We introduce a lightweight unit, conditional channel weighting, to replace costly pointwise (1x1) convolutions in shuffle blocks. The complexity of channel weighting is linear w.r.t the number of channels and lower than the quadratic time complexity for pointwise convolutions. Our solution learns the weights from all the channels and over multiple resolutions that are readily available in the parallel branches in HRNet. It uses the weights as the bridge to exchange information across channels and resolutions, compensating the role played by the pointwise (1x1) convolution. Lite-HRNet demonstrates superior results on human pose estimation over popular lightweight networks. Moreover, Lite-HRNet can be easily applied to semantic segmentation task in the same lightweight manner. The code and models have been publicly available at https://github.com/HRNet/Lite-HRNet.

研究动机与目标

• 开发一种在计算资源受限条件下仍能保持高性能的轻量化高分辨率网络。
• 解决轻量化网络中拼接块内点卷积（1×1 卷积）带来的计算瓶颈问题。
• 设计一种 1×1 卷积的高效替代方案，以实现有效的跨通道与跨分辨率特征交换。
• 在人体姿态估计和语义分割任务中实现卓越的精度-效率权衡。
• 将所提出的架构泛化至下游任务，而无需重新设计网络结构。

提出的方法

• 引入一种条件通道加权单元，基于多分辨率输入特征计算通道权重，替代高成本的 1×1 卷积。
• 通道权重通过一个轻量化网络模块计算，其复杂度相对于通道数呈线性关系，相比二次复杂度的 1×1 卷积显著降低了计算成本。
• 利用 HRNet 的并行分支提供的多分辨率特征，增强权重计算所用信息的丰富性。
• 采用空间与跨分辨率加权机制，在 FLOP 增加极少的情况下提升特征表示能力。
• 使用一个简单且可训练的模块，基于输入特征动态计算权重，实现自适应特征融合。
• 在人体姿态估计和语义分割任务中应用该架构，仅需极少修改。

Figure 2: Illustration of the Small HRNet architecture. It consists of a high-resolution stem as the first stage, gradually adding high-to-low resolution streams as the main body. The main body has a sequence of stages, each containing parallel multi-resolution streams and repeated multi-resolution

实验结果

研究问题

• RQ1 将拼接块集成到 HRNet 中，是否能构建出比 MobileNet 和 ShuffleNet 等现有模型更高效且更准确的轻量化网络？
• RQ2 在拼接块中用条件通道加权单元替代 1×1 卷积，是否能降低计算成本，同时保持或提升特征表示能力？
• RQ3 在权重计算过程中使用多分辨率特征，如何影响模型的性能与效率？
• RQ4 所提出的 Lite-HRNet 架构能否在语义分割任务中有效泛化，同时保持相当的效率与精度？
• RQ5 当增加网络深度或使用跨分辨率加权时，计算复杂度与性能增益之间的权衡如何？

主要发现

• Lite-HRNet 在 Cityscapes 语义分割任务中仅用 3.02 GFLOPs 即达到 75.3% 的 mIoU，优于手工设计与 NAS 方法。
• Lite-HRNet-18 在 Cityscapes 上达到 72.8% 的 mIoU，仅需 1.95 GFLOPs，优于 BiSeNetV1-B 和 DFANet A’ 等模型。
• 条件通道加权单元使拼接块的计算复杂度相比标准 1×1 卷积降低了 80%。
• 增加空间与跨分辨率加权机制，仅增加 16M FLOPs，便使 COCO AP 提升 3.5 个百分点。
• 增加网络深度可使 AP 提升 1.5 个百分点，且 FLOPs 与更宽版本相当，表明容量效率更优。
• 该模型在仅使用 3.02 GFLOPs 的情况下，性能可与计算量高达 104 GFLOPs 的 SwiftNetRN-18 等复杂模型相媲美。