[論文レビュー] Generative Partition Networks for Multi-Person Pose Estimation

Xuecheng Nie, Jiashi Feng+2 more|arXiv (Cornell University)|May 21, 2017

Human Pose and Action Recognition参考文献 30被引用数 11

ひとこと要約

本稿では、埋め込み空間における生成的モデルを用いて人物を同時に検出するとともに関節をパーティショニングする、1パスの新規アプローチであるGenerative Partition Networks (GPN) を提案する。密度的な回帰による効率的な関節パーティショニングと、グローバルなアフィニティ情報を利用した局所的なグリーディ推論を組み合わせることで、MPII、PASCAL-Person-Part、WAFのベンチマークにおいて、低推論複雑性で最先端の精度を達成する。

ABSTRACT

This paper proposes a new Generative Partition Network (GPN) to address the challenging multi-person pose estimation problem. Different from existing models that are either completely top-down or bottom-up, the proposed GPN introduces a novel strategy--it generates partitions for multiple persons from their global joint candidates and infers instance-specific joint configurations simultaneously. The GPN is favorably featured by low complexity and high accuracy of joint detection and re-organization. In particular, GPN designs a generative model that performs one feed-forward pass to efficiently generate robust person detections with joint partitions, relying on dense regressions from global joint candidates in an embedding space parameterized by centroids of persons. In addition, GPN formulates the inference procedure for joint configurations of human poses as a graph partition problem, and conducts local optimization for each person detection with reliable global affinity cues, leading to complexity reduction and performance improvement. GPN is implemented with the Hourglass architecture as the backbone network to simultaneously learn joint detector and dense regressor. Extensive experiments on benchmarks MPII Human Pose Multi-Person, extended PASCAL-Person-Part, and WAF, show the efficiency of GPN with new state-of-the-art performance.

研究の動機と目的

• トップダウンおよびボトムアップ手法の限界、たとえば高コストな処理と誤差の伝搬を解消する。
• 逐次的な1人分の推論によるトップダウン手法の非効率性と、ボトムアップ手法の関節パーティショニングにおける高コストな計算を克服する。
• 1回の順伝播で人物検出と関節パーティショニングを同時に実行する統合フレームワークを構築し、効率性と精度を向上させる。
• ローカル推論を強力な人物検出とグローバルなアフィニティ情報に条件づけることで、グラフパーティショニングの探索空間を縮小する。
• 生成的パーティショニング機構と1人分のポーズ推定による精練を組み合わせることで、オクルージョン、重複、ポーズの変化に対して強いポーズ推定を実現する。

提案手法

• 人物の重心をパラメータとする埋め込み空間内で、密度的な回帰を用いてグローバルな関節候補から人物検出と関節パーティショニングを推論する生成的パーティショニングモデルを提案する。
• 関節検出とパーティショニングのための密度的回帰を同時に学習できるように、マルチステージのアワーガラスネットワークバックボーンを実装する。
• 各人物検出に対してグローバルなアフィニティ情報（埋め込み空間からのもの）を用いて、グリーディ最適化として局所的推論を定式化し、関節の関連付け精度を向上させる。
• 各検出された人物インスタンス内での関節位置を精練するため、1人分のポーズ推定器を用いた精練ステップを導入する。
• 複数のネットワーク段階にわたり、関節検出とパーティショニングの誤りを反復的に是正する、信頼度マップの精練メカニズムを採用する。
• キーポイント検出、パーツアフィニティフィールドの回帰、パーティショニングの信頼度監視を統合したマルチタスク損失を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 トップダウンおよびボトムアップ手法の長所を統合した統合的1パスフレームワークは、従来の手法を上回る性能を発揮できるか？
• RQ2 生成的パーティショニング機構は、関節検出と関連付けの高精度を維持しつつ、計算コストを低減できるか？
• RQ3 グローバルなアフィニティ情報を利用した局所的グリーディ推論は、グローバルなグラフパーティショニングや単純なトップダウンアサインメントに比べ、ポーズ推定のロバスト性をどの程度向上させるか？
• RQ4 生成的パーティショニングモデルは、画像内の人物数をどれほど正確に予測できるか、また、アノテーションと比較してどの程度の精度か？
• RQ5 マルチステージの精練と1人分のポーズ精練は、困難なベンチマークにおける最終的な性能にどの程度寄与しているか？

主な発見

• GPNはMPIIマルチピersonポーズ推定ベンチマークで79.0% APという、新たな最先端の性能を達成した。
• 完全なGPNモデルは、関節パーティショニングにわずか1.9msの推論時間を要し、従来手法と比較して極めて高い効率性を示した。
• アブレーションスタディの結果、局所的グリーディ推論（GPN-w/o-LGI）を削除すると性能は77.8% APに低下し、グローバルなアフィニティ情報を利用した誤検出の抑制におけるその重要性が確認された。
• 生成的パーティショニングモデルは、人物数の推定において平均二乗誤差がたった0.203にとどまり、人物数の推定精度が極めて高いことが示された。
• マルチステージ設計により性能は単調に向上し、第1段階から第8段階までに23.4%のAP上昇を達成した。これは、段階間での誤差補正が効果的に行われていることを示している。
• 精練やマルチスケール推論を用いなくても、GPN-Vanillaバージョンは74.8% APを達成しており、提案フレームワークのロバスト性と安定性が裏付けられた。