[論文レビュー] Multi-Stage HRNet: Multiple Stage High-Resolution Network for Human Pose Estimation

Junjie Huang, Zheng Zhu+1 more|arXiv (Cornell University)|Oct 14, 2019

Human Pose and Action Recognition参考文献 33被引用数 10

ひとこと要約

本論文では、複数段階のネットワーク全体にわたり高解像度特徴表現を維持し、段階間特徴統合を用いてキーポints予測を精緻化する、トップダウン型の人体ポーズ推定フレームワークであるMulti-Stage HRNetを提案する。データオーグメンテーションやアンサンブルを用いない状態でも、公開トレーニングデータのみを用いてCOCO test-devで77.1 APを達成し、単一モデル・単一スケール設定における最先端の性能を示している。

ABSTRACT

Human pose estimation are of importance for visual understanding tasks such as action recognition and human-computer interaction. In this work, we present a Multiple Stage High-Resolution Network (Multi-Stage HRNet) to tackling the problem of multi-person pose estimation in images. Specifically, we follow the top-down pipelines and high-resolution representations are maintained during single-person pose estimation. In addition, multiple stage network and cross stage feature aggregation are adopted to further refine the keypoint position. The resulting approach achieves promising results in COCO datasets. Our single-model-single-scale test configuration obtains 77.1 AP score in test-dev using publicly available training data.

研究の動機と目的

• 制約のない環境における多人数の人体ポーズ推定を改善すること、特に遮蔽や複雑な照明条件下での課題に焦点を当てる。
• キーポイント位置の正確な局所化に制限を受ける単一段階ネットワークの限界を解消すること。
• トップダウン型ポーズ推定の利点と高解像度表現、複数段階の精緻化を組み合わせ、精度を向上させること。
• 公開利用可能なトレーニングデータのみと、単一モデル・単一スケール推論設定を用いて最先端の性能を達成すること。

提案手法

• 本手法はトップダウンパイプラインを採用し、まず画像から人物を検出し切り出し、その後そのポーズを推定する。
• HRNetと同様に、並列な多スケールサブネットワークを接続することで、ネットワーク全体にわたり高解像度表現を保持する。
• 2段階構造を用い、各段階の特徴を要素ごとの加算により段階間で統合することで、キーポイント予測を精緻化する。
• 段階間特徴統合により、ヒートマップおよびオフセットマップの段階的精緻化が可能となり、空間的精度が向上する。
• 特徴表現を強化するため、残差ブロックを用いた変更版HRNetバックボーンと、繰り返しの多スケール特徴統合を採用する。
• 訓練にはAdamを用い、混合精度（fp16）を適用し、150エポックで早期停止を行い、110および140エポックで周囲学習率を減衰させる。

実験結果

リサーチクエスチョン

• RQ1 複数段階にわたり高解像度表現を維持することで、多人数ポーズ推定におけるキーポイント局所化精度が向上するか？
• RQ2 段階間特徴統合は、単一段階ネットワークと比較して、どのようにポーズ推定性能を向上させるか？
• RQ3 公開トレーニングデータのみと、単一モデル・単一スケール推論設定を用いた場合、どの程度の性能向上が達成可能か？
• RQ4 精度と効率の観点から、本手法は最先端モデルと比較してどのように差をつけるか？

主な発見

• 提案されたMulti-Stage HRNetは、公開利用可能なトレーニングデータのみと、単一モデル・単一スケール設定を用いて、COCO test-devセットで77.1 APを達成した。
• 単純なテスト時増強とモデルアンサンブルを適用した場合、77.7 APに達し、単一モデル手法としてCOCOランクインで2位を記録した。
• すべての公開利用可能なトレーニングデータを用いたミニバリデーションでは79.4 APを達成し、優れた一般化性能を示した。
• 段階間特徴統合を備えた2段階設計は、遮蔽やレアポーズのような困難な状況においても、単一段階HRNetよりも精度が向上した。
• 同じ評価プロトコル下で、Mask R-CNN、CPN、SimpleBaselineなどの他の単一モデル手法よりもCOCO test-devで優れた性能を示した。
• 一部の競合手法よりもバックボーンが小さく（HRNet-W48）、トレーニングデータ量も少ないにもかかわらず、競争力のある結果を達成しており、高い効率性と有効性を示している。