[論文レビュー] Rethinking on Multi-Stage Networks for Human Pose Estimation

Wenbo Li, Zhicheng Wang+8 more|arXiv (Cornell University)|Jan 1, 2019

Human Pose and Action Recognition参考文献 46被引用数 109

ひとこと要約

この論文は多段階姿勢推定を再検討し、より良い単段モジュール、段階間特徴統合、粗から細への監督を用いることで、MSPNはCOCOとMPIIで最先端の結果を達成し、多段設計が単段設計より劣るという認識に挑戦する。

ABSTRACT

Existing pose estimation approaches fall into two categories: single-stage and multi-stage methods. While multi-stage methods are seemingly more suited for the task, their performance in current practice is not as good as single-stage methods. This work studies this issue. We argue that the current multi-stage methods' unsatisfactory performance comes from the insufficiency in various design choices. We propose several improvements, including the single-stage module design, cross stage feature aggregation, and coarse-to-fine supervision. The resulting method establishes the new state-of-the-art on both MS COCO and MPII Human Pose dataset, justifying the effectiveness of a multi-stage architecture. The source code is publicly available for further research.

研究の動機と目的

• 挑戦的な姿勢データセットにおいて、なぜ多段階ネットワークが単段階より性能が劣るのかを評価する。
• 姿勢推定のための多段階アーキテクチャの潜在能力を引き出す設計改善を行う。
• 洗練された単段モジュール、段間特徴融合、および粗から細への監督の有効性を示す。
• MSPNをCOCOとMPIIで既存手法と比較して評価し、各部の寄与を分析する。

提案手法

• 検出された人のボックスを入力としてMSPNに渡す2段階のトップダウンフレームワークを採用する。
• 単純なHourglassスタイルの単段モジュールを、特徴処理を向上させる現代的で高容量の単段モジュール（CPNのGlobalNet）に置換する。
• 段間特徴集約を導入し、段を超えてマルチスケール特徴を伝播させ情報フローを強化する。
• 段ごとに特定のガウス核サイズと複数の中間スケールを用いた粗から細への監督を適用し、局在化を段階的に改善する。
• 各段の最大スケールでオンラインハードキーポイントマイニング（OHKM）を組み込み、スケール間で標準のL2損失を適用する。

実験結果

リサーチクエスチョン

• RQ1 洗練された単段モジュールは多段姿勢ネットワークの性能を向上させることができるか。
• RQ2 段間特徴集約は多段アーキテクチャにおける情報喪失を減らすか。
• RQ3 粗から細への監督は従来のマルチスケール監督よりキー点の局在精度を改善するか。
• RQ4 COCOとMPIIにおけるMSPNの性能は、これまでの最先端手法と比べてどうか。
• RQ5 MSPNは検出器の品質とバックボーンの選択にどれだけ敏感か。

主な発見

• 提案された改善を加えたMSPNは、従来の多段手法を大幅に上回り、同程度の容量を持つ単段ベースラインをも上回る。
• 単段モジュールとしてResNetベースのGlobalNetを用いると強力なベースライン性能を発揮し、多段設計と組み合わせた場合により大きな向上を可能にする。
• 段間特徴集約は測定可能な改善をもたらす（例：COCO minivalでMSPNが74.2 APから74.5へ改善）。
• 粗から細への監督は局在精度を大幅に向上させ、設定全体でMSPNを顕著に改善する。FLOPs予算が同等の場合でもHourglassにも効果がある。
• MSPNはCOCO test-devで最先端の結果を達成（76.1 AP 単独モデル；外部データで77.1 AP；アンサンブルで78.1 AP）およびMPIIで（92.6 PCKh@0.5）
• 検出器の品質がMSPNの性能に与える影響は限定的であり、利得は主にアーキテクチャ設計に由来することを示している。