[論文レビュー] Leveraging the Path Signature for Skeleton-based Human Action Recognition.

Weixin Yang, Terry Lyons+4 more|arXiv (Cornell University)|Jul 13, 2017

Human Pose and Action Recognition被引用数 39

ひとこと要約

本稿では、骨格に基づく行動認識のためのパス・サインチャーチャー特徴表現を提案し、空間的関節関係と時間的変化をパスとしてモデル化することで、判別性の高い空間的および時間的サインチャを抽出する。この手法は、4つのベンチマークデータセットで最先端の性能を達成し、最近のディーブラーニングモデルを上回る。

ABSTRACT

Human action recognition in videos is one of the most challenging tasks in computer vision. One important issue is how to design discriminative features for representing spatial context and temporal dynamics. Here, we introduce a path signature feature to encode information from intra-frame and inter-frame contexts. A key step towards leveraging this feature is to construct the proper trajectories (paths) for the data steam. In each frame, the correlated constraints of human joints are treated as small paths, then the spatial path signature features are extracted from them. In video data, the evolution of these spatial features over time can also be regarded as paths from which the temporal path signature features are extracted. Eventually, all these features are concatenated to constitute the input vector of a fully connected neural network for action classification. Experimental results on four standard benchmark action datasets, J-HMDB, SBU Dataset, Berkeley MHAD, and NTURGB+D demonstrate that the proposed approach achieves state-of-the-art accuracy even in comparison with recent deep learning based models.

研究の動機と目的

• 骨格に基づく行動認識において、空間的文脈と時間的ダイナミクスの両方を捉える判別性の高い特徴を設計する課題に対処すること。
• パス・サインチャーチャーを、動画シーケンス内の人体関節軌跡を符号化する数学的フレームワークとして用いることの検討。
• フレーム内空間パターンとフレーム間時間的変化を統合した一貫した特徴表現として統合することで、行動認識の精度を向上させること。
• パス・サインチャーチャーを用いた手作業特徴アプローチが、標準ベンチマークでディーブラーニングベースのモデルと同等またはそれを上回る結果を達成できることを示すこと。

提案手法

• 各動画フレーム内の相関する人体関節制約から空間的パスを構築し、空間的パス・サインチャーチャー特徴を抽出する。
• フレーム間での空間的特徴の時間的変化を時間的パスとしてモデル化し、時間的パス・サインチャーチャー特徴を抽出する。
• 空間的および時間的パス・サインチャーチャー特徴を連結して、分類用の単一のベクトル表現を構成する。
• 連結された特徴ベクトルを全結合ニューラルネットワークに供給し、行動分類を実行する。
• パス・サインチャーチャーフレームワークを用いて、骨格シーケンスの幾何的および動的性質を数学的に厳密に保持する。
• パス・サインチャーチャーの階層的および非線形性を活用し、骨格運動における長距離依存関係を捉える。

実験結果

リサーチクエスチョン

• RQ1 パス・サインチャーチャー特徴は、人体骨格シーケンスにおける空間的構成と時間的ダイナミクスの両方を効果的にモデル化できるか？
• RQ2 精度および一般化性能の観点から、提案されたパス・サインチャーチャー表現はディーブラーニングベースのモデルと比べてどうなるか？
• RQ3 空間的および時間的パス・サインチャーチャー特徴は、独立しておよび共同して行動認識性能にどの程度寄与するか？
• RQ4 パス・サインチャーチャーに基づく非ニューラルで手作業の特徴アプローチは、標準ベンチマークで最先端の結果を達成できるか？

主な発見

• 提案されたパス・サインチャーチャーに基づく手法は、J-HMDBデータセットで最先端の精度を達成し、最近のディーブラーニングモデルを上回る。
• SBUデータセットでは、行動速度やカメラ画角の変化に対して優れた一般化性能とロバストネスを示す。
• バークレーのMHADデータセットでは、多様な人体行動や運動スタイルに対しても効果的であることが示された。
• NTURGB+Dでは、微細な分類や複雑な行動を含む複数の行動カテゴリにおいても、高い精度を維持した。
• 空間的および時間的パス・サインチャーチャーの組み合わせは、単独の成分よりもより判別性の高い特徴表現をもたらす。
• 結果から、パス・サインチャーチャーは骨格に基づく行動認識において、ディープニューラルネットワークの強力な代替手段であることが確認された。