[論文レビュー] A Context-and-Spatial Aware Network for Multi-Person Pose Estimation

Dongdong Yu|arXiv (Cornell University)|May 14, 2019

Human Pose and Action Recognition参考文献 28被引用数 6

ひとこと要約

この論文では、部分に注意を向けた多スケールの受容 field を持つ文脈認識パス（CAP）と、空間的詳細を保持する空間認識パス（SAP）を統合し、適応的融合のためのヘビー・ヘッド・パス（HHP）を用いることで、多人物ポーズ推定のための文脈および空間的注意型ネットワーク（CSANet）を提案する。CSANet は、ResNet-152 と 384×288 入力で COCO キーポoin ベンチマークにおいて 74.5 AP を達成し、先行手法よりも最大 2.4 AP の向上を達成した。

ABSTRACT

Multi-person pose estimation is a fundamental yet challenging task in computer vision. Both rich context information and spatial information are required to precisely locate the keypoints for all persons in an image. In this paper, a novel Context-and-Spatial Aware Network (CSANet), which integrates both a Context Aware Path and Spatial Aware Path, is proposed to obtain effective features involving both context information and spatial information. Specifically, we design a Context Aware Path with structure supervision strategy and spatial pyramid pooling strategy to enhance the context information. Meanwhile, a Spatial Aware Path is proposed to preserve the spatial information, which also shortens the information propagation path from low-level features to high-level features. On top of these two paths, we employ a Heavy Head Path to further combine and enhance the features effectively. Experimentally, our proposed network outperforms state-of-the-art methods on the COCO keypoint benchmark, which verifies the effectiveness of our method and further corroborates the above proposition.

研究の動機と目的

• 複雑なシーン、混雑状況、部分的隠蔽がある状況における多人物ポーズ推定のキーポイントを正確に推定する課題に対処すること。
• グローバルな文脈的情報と微細な空間的詳細を効果的に活用してキーポイントの局所化精度を向上させること。
• トップダウン型ポーズ推定パイプラインにおいて、文脈理解と空間的精度の両立を図る統合的なディーブラーニングアーキテクチャを設計すること。
• 分離された文脈的および空間的モデリングパスとその適応的統合の有効性を検証すること。

提案手法

• 部分に注意を向けた多スケールの文脈と関係性を捉えるために、構造的監督とアトロス空間的ピラミッドプーリング（ASPP）を備えた文脈認識パス（CAP）を設計した。
• 局所化精度を向上させるために、低レベルの空間解像度を保持し、詳細な空間的特徴を符号化する空間認識パス（SAP）を設計した。
• 学習可能な畳み込み層と特徴再補正を用いて、文脈的特徴と空間的特徴の間で適応的特徴統合を実行するヘビー・ヘッド・パス（HHP）を設計した。
• 人間検出を最初に行い、その後に CSANet を用いてキーポイント推定を実行するトップダウンパイプラインを用いて、エンド・トゥ・エンドでネットワークを学習した。
• アーキテクチャでは ResNet バックボーンを用い、次元削減と特徴統合に 1×1 畳み込みを適用した。
• 各コンポーネント（CAP、SAP、HHP）の寄与を検証するためにアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 部分に注意を向けた多スケールの受容 field を持つ文脈の明示的モデリングは、隠蔽や混雑状況下でのキーポイント推定を改善できるか？
• RQ2 初期段階で空間解像度を保持することで、微細なキーポイント検出の局所化精度が向上するか？
• RQ3 文脈的特徴と空間的特徴の適応的統合は、統合的特徴学習よりも優れた性能を達成できるか？
• RQ4 標準ベンチマーク（例：COCO）において、提案されたアーキテクチャは最先端手法と比較してどのように差をつけるか？

主な発見

• ResNet-152 と 384×288 入力で COCO test-dev2017 データセットにおいて CSANet は 74.5 AP を達成し、以前の SoTA 手法（CPN）を 2.4 AP 以上上回った。
• 384×288 入力の場合、SBN よりも 1.9 AP の向上を達成し、弱い人間検出器を使用しても一貫した向上が得られた。
• ResNet-101 と 384×288 入力で 74.1 AP を達成し、標準的なバックボーンでも優れた性能を示した。
• アブレーションスタディにより、文脈認識パスと空間認識パスの両方が性能向上に顕著な寄与をしていることが確認され、ヘビー・ヘッド・パスが統合をさらに強化した。
• ResNet-50 と 256×192 入力で 71.9 AP を達成し、さまざまな入力解像度においても堅牢性を示した。
• CMU-Pose や G-RMI、Mask R-CNN よりも大幅に優れた性能を示し、困難なベンチマークでも有効性が確認された。