[論文レビュー] Lite-HRNet: A Lightweight High-Resolution Network

Changqian Yu, Bin Xiao+5 more|arXiv (Cornell University)|Apr 13, 2021

Human Pose and Action Recognition参考文献 59被引用数 11

ひとこと要約

Lite-HRNet は、シャッフルブロック内の計算コストの高い 1×1 畳み込みを条件付きチャネル重み付けユニットに置き換えることで、人間のポーズ推定およびセマンティックセグメンテーション向けの軽量かつ高解像度ネットワークを実現する。この効率的なメカニズムにより、線形の計算量でチャネル間および解像度間の特徴マッピングを統合でき、COCO および MPII ベンチマークで最先端の精度-効率トレードオフを達成する。Lite-HRNet-30 は、たった 3.02 GFLOPs の計算コストで Cityscapes で 75.3% の mIoU を達成した。

ABSTRACT

We present an efficient high-resolution network, Lite-HRNet, for human pose estimation. We start by simply applying the efficient shuffle block in ShuffleNet to HRNet (high-resolution network), yielding stronger performance over popular lightweight networks, such as MobileNet, ShuffleNet, and Small HRNet. We find that the heavily-used pointwise (1x1) convolutions in shuffle blocks become the computational bottleneck. We introduce a lightweight unit, conditional channel weighting, to replace costly pointwise (1x1) convolutions in shuffle blocks. The complexity of channel weighting is linear w.r.t the number of channels and lower than the quadratic time complexity for pointwise convolutions. Our solution learns the weights from all the channels and over multiple resolutions that are readily available in the parallel branches in HRNet. It uses the weights as the bridge to exchange information across channels and resolutions, compensating the role played by the pointwise (1x1) convolution. Lite-HRNet demonstrates superior results on human pose estimation over popular lightweight networks. Moreover, Lite-HRNet can be easily applied to semantic segmentation task in the same lightweight manner. The code and models have been publicly available at https://github.com/HRNet/Lite-HRNet.

研究の動機と目的

• 計算制約下でも高いパフォーマンスを維持できる軽量かつ高解像度ネットワークの開発。
• 軽量ネットワーク内のシャッフルブロックにおけるポイントワイズ（1×1）畳み込みの計算ボトルネックの解決。
• 効果的なチャネル間および解像度間の特徴交換を可能にする 1×1 畳み込みの効率的代替設計。
• 人間のポーズ推定およびセマンティックセグメンテーションタスクにおける優れた精度-効率トレードオフの達成。
• アーキテクチャの再設計を伴わずに、下流タスクへの一般化を可能にする。

提案手法

• 複数の解像度にわたる入力特徴に基づいてチャネル重みを計算する条件付きチャネル重み付けユニットを導入し、高価な 1×1 畳み込みを置き換える。
• チャネル数に線形の計算量を持つ軽量なネットワークモジュールを用いて重みを計算することで、2次関数的計算量を示す標準的な 1×1 畳み込みと比較して計算コストを削減する。
• HRNet の並列ブランチから得られるマルチスケール特徴を活用し、重み計算に用いる情報の豊かさを向上させる。
• 空間的および解像度間の重み付けメカニズムを採用し、FLOP の増加を最小限に抑えつつ特徴表現を強化する。
• 入力特徴に条件づけられた動的重みを計算するシンプルで学習可能なモジュールを用い、適応的特徴統合を実現する。
• 最小限の変更で、人間のポーズ推定およびセマンティックセグメンテーションタスクの両方へアーキテクチャを適用する。

Figure 2: Illustration of the Small HRNet architecture. It consists of a high-resolution stem as the first stage, gradually adding high-to-low resolution streams as the main body. The main body has a sequence of stages, each containing parallel multi-resolution streams and repeated multi-resolution

実験結果

リサーチクエスチョン

• RQ1 HRNet にシャッフルブロックを統合することで、MobileNet や ShuffleNet ような既存モデルよりも効率的かつ正確な軽量ネットワークを実現できるか？
• RQ2 シャッフルブロック内の 1×1 畝み込みを条件付きチャネル重み付けユニットに置き換えることで、計算コストを削減しながらも、特徴表現を維持または向上できるか？
• RQ3 重み計算プロセスにおいてマルチスケール特徴を用いることで、モデルのパフォーマンスと効率にどのような影響を与えるか？
• RQ4 提案された Lite-HRNet アーキテクチャは、同等の効率と精度を達成しつつ、セマンティックセグメンテーションタスクに効果的に一般化できるか？
• RQ5 ネットワークの深さを増やすか、解像度間の重み付けを導入することで、計算複雑度とパフォーマンス向上のトレードオフはどのように変化するか？

主な発見

• Lite-HRNet は、たった 3.02 GFLOPs の計算コストで、Cityscapes セマンティックセグメンテーションで 75.3% の mIoU を達成し、手作業設計および NAS ベースの手法を上回った。
• Lite-HRNet-18 は、1.95 GFLOPs の計算コストで、Cityscapes で 72.8% の mIoU を達成し、BiSeNetV1-B や DFANet A’ よりも優れた性能を示した。
• 条件付きチャネル重み付けユニットにより、標準的な 1×1 畝み込みと比較して、シャッフルブロックの計算複雑度が 80% 削減された。
• 空間的および解像度間の重み付けを追加することで、COCO の AP が 3.5 ポイント向上し、FLOP の増加はたった 16M にとどまった。
• ネットワークの深さを増やすことで、幅を広げたバージョンと同等の FLOPs で AP が 1.5 ポイント向上し、容量効率の向上が示された。
• SwiftNetRN-18（104 GFLOPs）と比べてはるかに低い 3.02 GFLOPs の計算コストで、同等のパフォーマンスを達成した。