[論文レビュー] Dual Path Networks for Multi-Person Human Pose Estimation

Guanghan Ning, Zhihai He|arXiv (Cornell University)|Oct 27, 2017

Human Pose and Action Recognition参考文献 30被引用数 10

ひとこと要約

この論文では、マルチペルソンのヒューマンポーズ推定のためのデュアルパスニューラルネットワークを提案している。このネットワークは、密接接続（denseNet）ストリームを用いてキーポイントのヒートマップを別々に回帰し、resNeXtストリームを用いてパーツアフィニティフィールド（PAFs）を回帰する。OpenPoseよりも小型で高速であるにもかかわらず、PoseTrackデータセット上で優れた精度を達成し、62.4%のmAP（3段階）および1枚のTitan X GPUで186.6msの推論時間という、最先端の性能を示した。

ABSTRACT

The task of multi-person human pose estimation in natural scenes is quite challenging. Existing methods include both top-down and bottom-up approaches. The main advantage of bottom-up methods is its excellent tradeoff between estimation accuracy and computational cost. We follow this path and aim to design smaller, faster, and more accurate neural networks for the regression of keypoints and limb association vectors. These two regression tasks are naturally dependent on each other. In this work, we propose a dual-path network specially designed for multi-person human pose estimation, and compare our performance with the openpose network in aspects of model size, forward speed, and estimation accuracy.

研究の動機と目的

• マルチペルソンのヒューマンポーズ推定のための、より小型で高速かつ高精度なニューラルネットワークの設計。
• 計算コストとモデルサイズを低減しつつ、キーポイントとPAFの回帰精度を向上させること。
• ボトムアップポーズ推定におけるキーポイント検出とリム関連付けの相互依存性を解消すること。
• デュアルパスアーキテクチャが、OpenPoseのような既存のモデルを凌駕する効率性と精度を示すことを実証すること。
• PAFsや特定の関連付け手法に限定されない汎用的なフレームワークを提供すること。

提案手法

• ネットワークはデュアルパスアーキテクチャを採用：1本目のパスはPAFの回帰に向けたdenseNetに基づくもので、2本目のパスはキーポイントヒートマップの回帰に向けたresNeXtに基づくものである。
• 2つのストリームは、各段階でキーポイントヒートマップとPAFベクトル場の別々のL2損失関数を用いて同時に学習される。
• VGG-16バックボーン（最初の16層）からの特徴マップが、繰り返し適用されるサブネットワークに供給され、それぞれが異なるチャネル増加パターンを持つ2本のブランチを統合するDPNブロックを含む。
• DPNブロックは、1本のブランチを一定のチャネル数に保ち、もう1本のブランチをブロック間で累積的にチャネル数を増やすことで、特徴表現を強化する。
• マルチステージの監視を用いてエンドツーエンドで学習され、各段階で予測が行われ、正例のヒートマップとPAFsによって監視される。
• 公平な比較のため、OpenPoseと同一のトレーニングおよびテストプロトコルをPoseTrackデータセットで評価した。

実験結果

リサーチクエスチョン

• RQ1 デュアルパスネットワークアーキテクチャは、マルチペルソンのヒューマンポーズ推定において、モデルサイズと推論時間を削減しながらも精度を向上させることができるか？
• RQ2 キーポイント検出とPAF回帰の相互依存性は、全体の性能にどのように影響するか？
• RQ3 軽量で効率的なネットワークは、標準ベンチマークにおいてOpenPoseを速度と精度の両面で上回ることができるか？
• RQ4 汎用的なデュアルパス設計は、PAFベースの関連付け手法を超えてどの程度一般化可能か？
• RQ5 中間監視を伴うマルチステージ監視は、収束性と最終的な精度を向上させるか？

主な発見

• 提案されたモデルはPoseTrackテストセットで62.4%の平均平均精度（mAP）を達成し、6段階でのOpenPoseの59.5% mAPを上回った。
• 3段階での性能でさえ、58.5% mAPを達成しており、OpenPoseの3段階での54.4% mAPを上回った。
• モデルは著しく高速で、1フレームあたり186.6msの前方伝搬時間であったのに対し、OpenPoseは6段階で155.8msであった。これは、1回の推論ステップあたりの効率性が優れていることを示している。
• モデルははるかに小型であり、3段階で43.7MBにとどまったのに対し、OpenPoseは103.8MBであった。モデルサイズの顕著な削減が確認された。
• 計算複雑性が低く、サイズも小さいにもかかわらず、デュアルパスネットワークはOpenPoseを上回る精度を達成しており、優れた効率性と精度のトレードオフを示している。
• アブレーションスタディにより、キーポイントとPAF回帰の依存関係を効果的に活用していることが確認され、全体の性能向上に寄与していることが示された。