[論文レビュー] EfficientHRNet: Efficient Scaling for Lightweight High-Resolution Multi-Person Pose Estimation

Christopher Neff, Aneri Sheth+2 more|arXiv (Cornell University)|Jul 15, 2020

Human Pose and Action Recognition被引用数 15

ひとこと要約

EfficientHRNetは、リアルタイムのボトムアップマルチペルソン2Dヒューマンポーズ推定を実現する軽量でスケーラブルなハイグレージョンネットワークのファミリを導入する。EfficientNetにインspiredされたコン pound scaling戦略を用いて、入力解像度、バックボーンネットワーク、ハイグレージョン特徴ストリームを一括してスケーリングすることで、HigherHRNetと比較してモデルサイズを1/3、計算量を1/6に削減しながら最先端の精度を達成し、NVIDIA Jetson Xavierで23 FPSで動作する。

ABSTRACT

There is an increasing demand for lightweight multi-person pose estimation for many emerging smart IoT applications. However, the existing algorithms tend to have large model sizes and intense computational requirements, making them ill-suited for real-time applications and deployment on resource-constrained hardware. Lightweight and real-time approaches are exceedingly rare and come at the cost of inferior accuracy. In this paper, we present EfficientHRNet, a family of lightweight multi-person human pose estimators that are able to perform in real-time on resource-constrained devices. By unifying recent advances in model scaling with high-resolution feature representations, EfficientHRNet creates highly accurate models while reducing computation enough to achieve real-time performance. The largest model is able to come within 4.4% accuracy of the current state-of-the-art, while having 1/3 the model size and 1/6 the computation, achieving 23 FPS on Nvidia Jetson Xavier. Compared to the top real-time approach, EfficientHRNet increases accuracy by 22% while achieving similar FPS with 1/3 the power. At every level, EfficientHRNet proves to be more computationally efficient than other bottom-up 2D human pose estimation approaches, while achieving highly competitive accuracy.

研究の動機と目的

• リソース制限のあるIoTおよびエッジデバイスに適した、軽量でリアルタイムなボトムアップマルチペルソン2Dヒューマンポーズ推定手法の不足を解消すること。
• 既存の軽量ポーズ推定アプローチにおけるモデル効率と精度のトレードオフを克服すること。
• 計算コストとモデルサイズを大幅に削減しながらも高い精度を維持できるスケーラブルなアーキテクチャの開発。
• NVIDIA Jetson Xavierなどの低消費電力エッジハードウェアでリアルタイム推論を可能にし、継続的モニタリング応用を支援すること。
• 実世界の展開において、異なる精度と効率要件に合わせて調整可能な柔軟なモデルファミリの提供。

提案手法

• EfficientNetのコンパoundスケーリング法を応用し、入力解像度、バックボーンネットワーク、ハイグレージョン特徴ネットワークを統合的にスケーリングする。
• HRNetのハイグレージョン特徴表現機構を統合し、特徴抽出の全段階で空間的詳細を保持する。
• マルチスケール特徴統合戦略を採用し、ネットワーク全体でハイグレージョン表現を維持することで、キーポイント局在化精度を向上させる。
• スケーリング係数φを変化させることで、H₀からH₋₄までのスケーラブルなモデルファミリを設計し、精度と効率のトレードオフを可能にする。
• COCOデータセット上で競争力のある性能を維持しつつ、FLOPsとパラメータ数を削減するようにネットワークアーキテクチャを最適化する。
• ImageNet上でバックボーンのバリエーションを独立して評価し、一般化性能と効率性の向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 ボトムアップヒューマンポーズ推定に統合的なコンパundスケーリング戦略を効果的に適用できるか？ これにより、モデルサイズ、FLOPs、推論時間の同時削減が達成されつつも、高い精度を維持できるか？
• RQ2 入力解像度、バックボーン、ハイグレージョン特徴ネットワークを同時にスケーリングする戦略は、個別にスケーリングする方法と比較して、キーポイント検出性能にどのような影響を与えるか？
• RQ3 軽量なHRNetベースアーキテクチャは、エッジデバイスでリアルタイム推論を可能にしつつ、どれほど最先端の精度に達成できるか？
• RQ4 精度、速度、エネルギー効率の観点から、EfficientHRNetは既存の軽量および最先端のポーズ推定モデルと比較して、どのように性能を発揮するか？
• RQ5 EfficientHRNetのスケーラブルなモデルファミリにおいて、モデルサイズ、推論速度、精度の間にはどのようなトレードオフが生じるか？

主な発見

• 最大のEfficientHRNetモデル（H₀）は、COCO2017検証セットで64.8 APを達成し、最先端のHigherHRNetと比較して4.4%以内の差にとどまり、モデルサイズを1/3、計算量を1/6に削減した。
• EfficientHRNetは、NVIDIA Jetson Xavier NXで23 FPSを達成し、低消費電力エッジデバイスでのリアルタイム推論を可能にした。
• 最良のリアルタイム手法であるLightweight OpenPoseと比較して、EfficientHRNetは精度を10.1%向上させつつ、計算量を15%削減し、消費電力を1/3にまで低減した。
• HigherHRNetやPersonLabと比較して、EfficientHRNetはFLOPsを83–93%削減しながらも、67.1–64.8 APの精度を維持し、FPSを3.4倍に向上させた。
• 最小モデル（H₋₄）は35.7 APを達成し、50.96 FPS、3.397のエフェシェンシー・スコアを実現し、単純なシナリオにおいても許容可能な精度で、極めて制限されたデバイスへのデプロイを可能にした。
• 定性的な分析から、H₀は最先端モデルとほぼ同等の性能を示した一方、より小さいバージョン（H₋₁からH₋₄）はキーポイント検出においても高い精度を維持したが、複雑なシーンではグループ化処理のための後処理が必要であった。