[論文レビュー] Stacked Hourglass Networks for Human Pose Estimation

Alejandro Newell, Kaiyu Yang+1 more|arXiv (Cornell University)|Mar 22, 2016

Human Pose and Action Recognition参考文献 41被引用数 536

ひとこと要約

スタックド・アワーグラス畳み込みネットワークを導入し、中間监督を用いて人間のポーズ熱マップを予測、FLICとMPIIベンチマークで最先端の結果を達成。

ABSTRACT

This work introduces a novel convolutional network architecture for the task of human pose estimation. Features are processed across all scales and consolidated to best capture the various spatial relationships associated with the body. We show how repeated bottom-up, top-down processing used in conjunction with intermediate supervision is critical to improving the performance of the network. We refer to the architecture as a "stacked hourglass" network based on the successive steps of pooling and upsampling that are done to produce a final set of predictions. State-of-the-art results are achieved on the FLIC and MPII benchmarks outcompeting all recent methods.

研究の動機と目的

• 複数のスケールにわたる情報を捉え、統合して、正確なキーポイントの局所化を実現する畳み込みアーキテクチャを開発する。
• スタックド・アワーグラスモジュールを介した繰り返しの下向き・上向き推論が、姿勢推定を改善することを示す。
• マルチステージのポーズ予測ネットワークの訓練における中間監視の利点を示す。
• 標準的なポーズベンチマーク（FLICとMPII）で最先端の性能を達成する。

提案手法

• 高解像度から低解像度へ、そして再び高解像度へ処理する対称的なアワーグラスモジュールを提案し、最近傍補間によるアップサンプリングとスキップ接続を用いて多尺度情報を統合する。
• 重みを共有せずにエンドツーエンドで複数のアワーグラスモジュールを積み重ね、反復的な下向き・上向きの洗練を可能にする。
• 各アワーグラスの後に熱マップを生成して中間監督を取り入れ、訓練を導く損失を適用する。
• 各アワーグラス内で残差モジュールを用い、パラメータ数を制御しボトルネック設計を取り入れたより深いアーキテクチャを可能にする。
• 平均二乗誤差の熱マップ損失を、グラウンドトゥルーのガウス熱マップに対して訓練し、データ拡張とバッチ正規化を適用する。
• FLICとMPIIでPCKおよびPCKh指標を用いて評価し、予測のためにテスト時の画像反転を適用する。

実験結果

リサーチクエスチョン

• RQ1 同等のパラメータ数を持つ単一のアワーグラスと比べて、複数のアワーグラスを積み重ねることで姿勢推定精度は向上するのか？
• RQ2 訓練ダイナミクスと最終的な精度に対する中間監督の影響は何か？
• RQ3 提案ネットワークは、遮蔽や近接した複数人物といった課題を実践でどのように処理するか？
• RQ4 グラフィカルモデルや明示的な身体事前情報を用いず、純粋な畳み込みと熱マップベースのアプローチで最先端の結果を達成できるか？

主な発見

• 中間監督を持つ8重アワーグラス積み重ねネットワークはMPIIで最先端の結果を達成し、難易度の高い関節（肘と手首）で顕著な改善を示している。
• FLICでは、肘で99.0% PCK@0.2、手首で97.0%を達成する。
• 最終モデルはMPIIで各関節のACC：Head 98.2, Shoulder 96.3, Elbow 91.2, Wrist 87.1, Hip 90.1, Knee 87.4, Ankle 83.6, Total 90.9を達成。
• アワーグラスを積み重ねることで、少ないスタックより一貫した精度向上が得られ、中間監督は積み重ねと組み合わせると追加の向上を生む。
• 本法は、遮蔽や近接する人物が写る画像中の単一人物のポーズを予測できるが、遮蔽は依然として大きな課題である。
• 予測は各関節の最大活性化を選択する後処理を伴う熱マップとして生成され、テスト時の拡張には画像の反転と熱マップの平均化が含まれる。