[論文レビュー] Dite-HRNet: Dynamic Lightweight High-Resolution Network for Human Pose Estimation

Qun Li, Ziyi Zhang+3 more|arXiv (Cornell University)|Apr 22, 2022

Human Pose and Action Recognition参考文献 23被引用数 9

ひとこと要約

Dite-HRNetは、動的で軽量な高分解能ネットワークを提示し、動的スプリット畳み込み（DSC）と自己適応的文脈モデリング（ACM）を用いて特徴抽出と長距離空間的依存関係を向上させる。これらの技術を特化した動的ブロックに統合することで、COCOおよびMPIIデータセットにおいて、従来の軽量ネットワークよりもFLOPsとパラメータ数が少ない状態で最先端の精度を達成する。

ABSTRACT

A high-resolution network exhibits remarkable capability in extracting multi-scale features for human pose estimation, but fails to capture long-range interactions between joints and has high computational complexity. To address these problems, we present a Dynamic lightweight High-Resolution Network (Dite-HRNet), which can efficiently extract multi-scale contextual information and model long-range spatial dependency for human pose estimation. Specifically, we propose two methods, dynamic split convolution and adaptive context modeling, and embed them into two novel lightweight blocks, which are named dynamic multi-scale context block and dynamic global context block. These two blocks, as the basic component units of our Dite-HRNet, are specially designed for the high-resolution networks to make full use of the parallel multi-resolution architecture. Experimental results show that the proposed network achieves superior performance on both COCO and MPII human pose estimation datasets, surpassing the state-of-the-art lightweight networks. Code is available at: https://github.com/ZiyiZhang27/Dite-HRNet.

研究の動機と目的

• 軽量な高分解能ネットワークにおける静的かつ入力に依存しないブロックの限界を解消すること。
• 計算複雑度を増加させずに、軽量HRNetにおける長距離空間的依存関係のモデリングを向上させること。
• モデル容量と効率のトレードオフを最適化する動的で適応的なコンponentsを設計すること。
• 従来の軽量アーキテクチャと比較して、標準ベンチマーク（COCOおよびMPII）において優れた精度と効率を達成すること。

提案手法

• 入力に適応する可学習な畳み込み機構として、多スケール特徴抽出と計算コストのバランスを取るためにチャンネルを動的に分割し、カーネル数を調整する動的スプリット畳み込み（DSC）を提案する。
• 特徴マップ全体にわたる長距離依存関係に注目することで、局所的およびグローバルな空間的パターンを捉える可学習モジュールである自己適応的文脈モデリング（ACM）を導入する。
• HRNetの並列なマルチリソリューションブランチにDSCとACMを統合し、2つの新規な動的で軽量なブロック—動的マルチスケールコンテキストブロックおよび動的グローバルコンテキストブロック—を設計する。
• DSCを2つのハイパーパラメータ、カーネル数（N）とグループ数（G）で設定し、各リソリューションブランチに対して最適化することで、効率性と精度を最大化する。
• COCOおよびMPIIデータセット上で、DSCとACMの個別的および共同的寄与を検証するための段階的アブレーション戦略を採用する。
• 標準の残差ブロックに置き換えることで、入力依存の特徴学習を可能にしつつも、高分解能表現を維持できるように、変更されたHRNetバックボーンを構成する。

Figure 1: Overall architecture of Dite-HRNet. It uses HRNet Sun et al. ( 2019 ) as backbone, adapted by two proposed dynamic blocks. The cross-resolution modules are marked with blue areas.

実験結果

リサーチクエスチョン

• RQ1 入力に適応する畳み込み機構は、人体ポーズ推定における軽量な高分解能ネットワークの効率性と精度を向上させることができるか？
• RQ2 FLOPsを増加させずに、軽量HRNetにおける長距離空間的依存関係を効果的にモデリングできるか？
• RQ3 動的マルチスケール特徴抽出と自己適応的グローバルコンテキストモデリングを組み合わせることで、静的ブロック設計よりも優れた性能が得られるか？
• RQ4 動的ブロックは、Lite-HRNetなどの最先端の軽量ネットワークと比較して、より高い精度と低い計算コストを達成できるか？

主な発見

• Dite-HRNet-18はCOCO val2017で65.9 AP、MPIIで87.0 PCKhを達成し、パラメータ数1.1M、FLOPs 209.8 MFLOPsで、Lite-HRNet-18（64.8 AP、86.1 PCKh）を上回る。
• ACMとDSCを併用したモデルは、COCOで65.6 AP、MPIIで86.7 PCKhを達成し、追加のFLOPsを最小限に抑えつつ顕著な精度向上を示した。
• Dite-HRNet-18は、COCOにおいて全軽量ネットワークの中で最高のパフォーマンスを発揮し、87.6 PCKh@0.5を達成した。これは、パラメータ数とFLOPsが少ないにもかかわらず、Lite-HRNet-30を上回った。
• アブレーションスタディにより、DSCとACMの両方が有効であることが確認された。DSCはマルチスケール特徴学習を向上させ、ACMは長距離空間的モデリングを強化した。
• 最適なDSC設定は、高リソリューションから低リソリューションブランチへとN = 4,4,2,1およびG = 1,1,2,4を採用し、精度と効率のバランスを最適化した。
• Dite-HRNet-18は、MobileNetV2、MobileNetV3、ShuffleNetV2、Small HRNetと比較して、顕著に低いFLOPsとパラメータ数で優れた性能を発揮した。

Figure 2: Structures of Dynamic Multi-scale Context (DMC) block and Dynamic Global Context (DGC) block. Dynamic Kernel Aggregation (DKA) is applied to Dynamic Split Convolution (DSC) in the DMC block and each convolution in the DGC block. DCM (Dense Context Modeling) and GCM (Global Context Modeling