[論文レビュー] P-CNN: Pose-based CNN Features for Action Recognition

Guilhem Chéron, Ivan Laptev+1 more|arXiv (Cornell University)|Jun 11, 2015

Human Pose and Action Recognition参考文献 33被引用数 4

ひとこと要約

この論文では、動画内の追跡された人体部の外観および運動特徴を抽出し、CNNを用いて時間的に集約するポーズベースの畳み込みニューラルネットワーク記述子P-CNNを提案する。JHMDBおよびMPII Cookingデータセットにおいて最先端の性能を達成しており、特に微細なアクション認識において優れた性能を示し、密な軌道特徴と強い補完性を示している。

ABSTRACT

This work targets human action recognition in video. While recent methods typically represent actions by statistics of local video features, here we argue for the importance of a representation derived from human pose. To this end we propose a new Pose-based Convolutional Neural Network descriptor (P-CNN) for action recognition. The descriptor aggregates motion and appearance information along tracks of human body parts. We investigate different schemes of temporal aggregation and experiment with P-CNN features obtained both for automatically estimated and manually annotated human poses. We evaluate our method on the recent and challenging JHMDB and MPII Cooking datasets. For both datasets our method shows consistent improvement over the state of the art.

研究の動機と目的

• 人体ポーズからの構造的な空間的・時間的情報を活用することで、微細な人間のアクション認識を向上させること。
• 全身動画記述子を凌駕する、部位レベルの運動および外観を捉えるロバストなCNNベースの記述子を設計すること。
• 手動アノテーション済みと自動推定済みの両方の人体ポーズを用いて、P-CNN特徴の有効性を評価すること。
• IDT-FVなどの既存手法とP-CNNの補完性を実証し、全体の認識精度を向上させること。
• 微細なアクションにおける判別的運動パターンを捉えるために、ポーズベースの表現が不可欠であることを検証すること。

提案手法

• P-CNNは、動画の各フレームにおける追跡された人体部の周囲の局所的パッチから、外観（RGB）および運動（オプティカルフロー）特徴を抽出する。
• 各人体部およびフレームに対して、事前学習済みのCNNを用いて深層特徴を抽出し、空間的・時間的構造を保持する。
• 時間的集約は、各人体部ごとに最小値および最大値プーリングを用いて行い、静的および動的記述子を形成する。
• 全人体部からの記述子を正規化し、連結して最終的な外観およびオプティカルフロー特徴を形成する。
• 最終的なP-CNN特徴ベクトルは、全人体部および集約手法における外観およびフロー記述子の連結である。
• 本手法は、手動アノテーション（GT）と自動推定された人体ポーズの両方を用いて評価され、ロバスト性が評価される。

実験結果

リサーチクエスチョン

• RQ1 全身動画記述子と比較して、ポーズベースのCNN特徴は、特に微細なアクション認識において性能を向上させるか？
• RQ2 自動推定された人体ポーズを用いた場合と手動アノテーション済みのものとを比較して、P-CNNの性能はどのように変化するか？
• RQ3 P-CNN特徴は、IDT-FVのような既存手法とどの程度補完的か？
• RQ4 部位レベルでのCNN特徴の時間的集約は、微細なアクションの判別力向上に寄与するか？
• RQ5 HLPFのような先行手法と比較して、提案されたP-CNN記述子はポーズ推定誤差に対してよりロバストか？

主な発見

• JHMDB-GTデータセットでは、P-CNNがIDT-FVと組み合わせた場合、平均正答率79.5%を達成し、以前のSOTAを上回った。
• MPII Cookingデータセットでは、P-CNNがIDT-FVと組み合わせた場合、mAPが71.4%に達し、以前のSOTAの70.5%を上回り、最高の報告結果と一致した。
• MPII Cookingデータセットにおいて、P-CNNはHLPFを著しく上回った。特に自動推定ポーズを用いた場合、ポーズ推定誤差へのロバスト性が示された。
• 'shoot_gun'、'wave'、'throw'などのアクションでは、P-CNNがIDT-FVを大きく上回り、順位が200以上から30未満にまで改善された事例もあった。
• 一方、'kick_ball'ではIDT-FVに比べて性能が低下した。これは、非常にダイナミックなアクションは全身の運動特徴によってより良く捉えられる可能性を示唆している。
• 定性的な分析により、P-CNNが部位レベルの運動および外観に注目しているため、局所的で微細なアクション認識に優れていることが確認された。