[論文レビュー] Simple Pose: Rethinking and Improving a Bottom-up Approach for Multi-Person Pose Estimation

Jia Li, Wen Su+1 more|arXiv (Cornell University)|Nov 24, 2019

Human Pose and Action Recognition参考文献 29被引用数 10

ひとこと要約

本稿では、より直感的なボディパーツ表現、注意メカニズムを統合したスタックド・アワーガラスネットワーク、ハードサンプルマイニングを促進するフォーカルL2損失、および強力なグリーディー关键点割り当てアルゴリズムを用いて、キーポイントの局所化と関連付けを向上させる、マルチペルソン人体ポーズ推定の新規ボトムアップ手法Simple Poseを提案する。本手法は、MS-COCOテストデベロップメントセットにおいてベースラインのCMU-Poseと比較して平均精度（AP）を15.1%絶対的に向上させ、最先端のボトムアップ手法を上回り、同等のバックボーンモデルを用いたトップダウン手法と同等の性能を達成した。

ABSTRACT

We rethink a well-know bottom-up approach for multi-person pose estimation and propose an improved one. The improved approach surpasses the baseline significantly thanks to (1) an intuitional yet more sensible representation, which we refer to as body parts to encode the connection information between keypoints, (2) an improved stacked hourglass network with attention mechanisms, (3) a novel focal L2 loss which is dedicated to hard keypoint and keypoint association (body part) mining, and (4) a robust greedy keypoint assignment algorithm for grouping the detected keypoints into individual poses. Our approach not only works straightforwardly but also outperforms the baseline by about 15% in average precision and is comparable to the state of the art on the MS-COCO test-dev dataset. The code and pre-trained models are publicly available online.

研究の動機と目的

• 既存のボトムアップポーズ推定手法の限界、特にキーポイント局所化の精度と、隠蔽やスケール変動に対する耐性の改善を目的とする。
• パラメトリックアフィニティフィールド（PAFs）に代わるより直感的で効果的なボディパーツ表現を用いて、キーポイント関連付け（グループ化）プロセスを改善すること。
• 空間的およびチャネル的注意メカニズムを統合したスタックド・アワーガラスネットワークを用いて、特徴量学習とヒートマップ品質を向上させること。
• キーポイント検出およびキーポイント関連付けの両方において、困難なサンプルを優先するトレーニング目的関数を設計し、困難なケースにおける一般化性能を向上させること。
• 人検出器やモデルアンサンブルに依存せず、推論効率を維持したままボトムアップポーズ推定分野で最先端の性能を達成すること。

提案手法

• キーポイント間の接続関係をエンコードする新しいボディパーツ表現を導入し、複雑なパラメトリックアフィニティフィールド（PAFs）に代わる、より単純で意味的に明確な構造を採用する。
• 空間的およびチャネル的注意モジュールを統合した、改良されたスタックド・アワーガラスネットワークを提案し、高解像度で高品質なヒートマップおよびパーツ表現を生成する。
• 予測の難易度に応じて監督信号の重みを動的に調整するフォーカルL2損失を設計し、困難なキーポイントおよび関連付けに焦点を当てたトレーニングを促進する。
• 学習済みのボディパーツ表現と信頼度スコアを用いて、検出されたキーポイントを個々のポーズにグループ化するグリーディーなキーポイント割り当てアルゴリズムを開発する。
• マルチスケール推論とデータオーグメンテーションを用いて、さまざまな人物サイズにおけるスケール不変性と耐性を向上させる。
• ImageNetの事前学習を用いずに、スクラッチからモデルをトレーニングし、転移学習なしでも優れた性能を示すことを実証する。

実験結果

リサーチクエスチョン

• RQ1 より単純で直感的なキーポイント接続表現（ボディパーツ）が、従来のパラメトリックアフィニティフィールド（PAFs）を上回る性能を発揮できるか？
• RQ2 注意メカニズムと新しい損失関数は、マルチペルソンポーズ推定におけるヒートマップ品質と一般化性能をどの程度向上させるか？
• RQ3 キーポイント検出およびキーポイント関連付けの両方における統合的ハードサンプルマイニングが、顕著な性能向上をもたらすか？
• RQ4 人検出器やモデルアンサンブルに依存しないボトムアップアプローチが、トップダウン手法と同等の性能を達成できるか？
• RQ5 スケール不変性と入力解像度は、現実世界のマルチスケールシナリオにおける最終的な精度にどのように影響を与えるか？

主な発見

• 提案されたボディパーツ表現は、同じネットワークと損失関数を用いた場合、ベースライン比で3–4%のAP向上をもたらした。
• フォーカルL2損失は、標準L2損失と比較してAPを3–4%向上させ、ハードサンプルマイニングにおける有効性を示した。
• 4段階のIMHN（改善型マルチヘッドネットワーク）は、3段階バージョンと比較して1%のAP向上を達成し、4段階IMHN＋バリエーションではMS-COCOテストデベロップメントで67.1%のAPに到達した。
• 空間的およびチャネル的注意メカニズムの組み合わせは、それぞれ1.2%および0.4%のAP向上をもたらし、特徴量学習への肯定的影響を示した。
• 本手法は、ベースラインのCMU-Poseと比較して15.1%の絶対的AP向上を達成し、公開コードおよびモデルを提供する最初のボトムアップ手法として、MS-COCOテストデベロップメントで67%のAPを超えた。
• 本手法はさまざまな人物スケールにおいても優れた性能を維持しており、AP_LからAP_Mへの低下がわずか1.3%にとどまる一方で、PifPaf や PersonLab は10%以上の低下を示しており、優れたスケール耐性を示した。