[論文レビュー] Graph-PCNN: Two Stage Human Pose Estimation with Graph Pose Refinement

Jian Wang, Xiang Long+3 more|arXiv (Cornell University)|Jul 21, 2020

Human Pose and Action Recognition参考文献 50被引用数 12

ひとこと要約

Graph-PCNN は、粗いプロポーザル段階と詳細なリファインメント段階を分離することで、キーポイントの局所化精度を向上させる、2段階で構成され、モデルに依存しないトップダウン型人体ポーズ推定フレームワークを提案する。ヒートマップ回帰から得られるガイドドポイントと、キーポイント間の関係をグラフ畳み込みでモデル化するグラフポーズリファインメントモジュールを導入し、COCO test-dev で 76.8% AP を達成し、新たな最先端性能を樹立した。

ABSTRACT

Recently, most of the state-of-the-art human pose estimation methods are based on heatmap regression. The final coordinates of keypoints are obtained by decoding heatmap directly. In this paper, we aim to find a better approach to get more accurate localization results. We mainly put forward two suggestions for improvement: 1) different features and methods should be applied for rough and accurate localization, 2) relationship between keypoints should be considered. Specifically, we propose a two-stage graph-based and model-agnostic framework, called Graph-PCNN, with a localization subnet and a graph pose refinement module added onto the original heatmap regression network. In the first stage, heatmap regression network is applied to obtain a rough localization result, and a set of proposal keypoints, called guided points, are sampled. In the second stage, for each guided point, different visual feature is extracted by the localization subnet. The relationship between guided points is explored by the graph pose refinement module to get more accurate localization results. Experiments show that Graph-PCNN can be used in various backbones to boost the performance by a large margin. Without bells and whistles, our best model can achieve a new state-of-the-art 76.8% AP on COCO test-dev split.

研究の動機と目的

• 粗いプロポーザル段階と詳細なリファインメント段階を分離することで、トップダウン型人体ポーズ推定におけるキーポイント局所化精度を向上させること。
• グラフベースのモジュールを用いてキーポイント間の関係をモデル化し、誤検出の是正と空間的一致性の向上を図ること。
• アーキテクチャの大幅な見直しが不要な、モデルに依存しないフレームワークを設計し、既存のヒートマップベースのポーズ推定器を強化すること。
• 最小限の追加計算量で、COCOベンチマークにおいて最先端のパフォーマンスを達成すること。

提案手法

• 本手法は2段階パイプラインを採用する：まず、ヒートマップ回帰ネットワークが初期キーポイントプロポーザルを生成し、その中からヒートマップのピークに基づいてガイドドポイントをサンプリングする。
• 2段階目では、各ガイドドポイントの周囲からインスタンス固有の特徴を抽出するロケリゼーションサブネットが、座標の精緻なリファインメントを実現する。
• キーポイント間の関係をグラフ畳み込みネットワークを用いてモデル化するグラフポーズリファインメント（GPR）モジュールを導入し、ポーズ全体の構造的一致性を強制する。
• GPRモジュールは、学習可能なメッセージパッシングにより隣接キーポイントからの特徴を集約し、関係性の推論によって局所化精度を向上させる。
• 本フレームワークは、HRNet や DarkNet などのさまざまなバックボーンと互換性があり、既存のポーズ推定モデルにプラグインとして追加可能である。
• 最終的な座標は、微分可能リファインメントヘッドを用いて精緻化され、キーポイント回帰の損失は統合損失により最適化される。

実験結果

リサーチクエスチョン

• RQ1 粗いプロポーザルと詳細なリファインメントを分離する2段階アプローチが、トップダウン型ポーズ推定におけるキーポイント局所化精度の向上に寄与するか。
• RQ2 グラフベースのモジュールによるキーポイント間の関係モデリングが、誤って局所化されたキーポイントの是正にどの程度効果的か。
• RQ3 アーキテクチャの変更なしに、多様なバックボーンで性能を向上可能なモデルに依存しないフレームワークを設計可能か。
• RQ4 グラフ畳み込みによる関係性の推論が、COCO などの標準ベンチマークで一貫した性能向上をもたらすか。

主な発見

• Graph-PCNN は COCO test-dev スプリットで 76.8% AP を達成し、新たな最先端性能を樹立した。
• HR48 バックボーンと入力サイズ 384x288 を用いた場合、ベースラインの HR48 モデル（75.5% → 76.8%）に対して +1.3% AP の向上を達成した。
• 同じバックボーンと入力サイズ下で、UDP（76.5%）、DARK（76.2%）、PoseFix（76.7%）といった他の最先端手法を上回った。
• グラフポーズリファインメントモジュールが、特に遮蔽や複雑なポーズの状況において顕著な性能向上に寄与している。
• PoseFix と同等の結果を達成しながら、リファインメントブランチに追加の R50 ネットワークを必要とせず、単一の R50 conv5 ステージで実現した。
• モデルに依存しない設計により、多様なバックボーンとのシームレスな統合が可能であり、広範な適用性と一貫した性能向上を示した。