[論文レビュー] Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition

Tailin Chen, Desen Zhou+5 more|arXiv (Cornell University)|Aug 10, 2021

Human Pose and Action Recognition参考文献 41被引用数 8

ひとこと要約

本稿では、行動認識のための粗粒度および微粒度の骨格運動パターンを統合的にモデル化するデュアルヘッド時空間グラフネットワークを提案する。2つの相互に接続されたGCNブランチにクロスヘッドアテンションを導入することで特徴の通信を強化し、NTU RGB+D 60、NTU RGB+D 120、Kinetics-Skeleton データセットで最先端の性能を達成した。特に微粒度の行動認識が顕著に向上した。

ABSTRACT

The task of skeleton-based action recognition remains a core challenge in human-centred scene understanding due to the multiple granularities and large variation in human motion. Existing approaches typically employ a single neural representation for different motion patterns, which has difficulty in capturing fine-grained action classes given limited training data. To address the aforementioned problems, we propose a novel multi-granular spatio-temporal graph network for skeleton-based action classification that jointly models the coarse- and fine-grained skeleton motion patterns. To this end, we develop a dual-head graph network consisting of two interleaved branches, which enables us to extract features at two spatio-temporal resolutions in an effective and efficient manner. Moreover, our network utilises a cross-head communication strategy to mutually enhance the representations of both heads. We conducted extensive experiments on three large-scale datasets, namely NTU RGB+D 60, NTU RGB+D 120, and Kinetics-Skeleton, and achieves the state-of-the-art performance on all the benchmarks, which validates the effectiveness of our method.

研究の動機と目的

• 骨格ベースの行動認識において、微粒度の行動を認識する課題に取り組み、従来の手法が単一スケールの表現に依存している点を改善すること。
• 骨格シーケンスにおいて粗粒度および微粒度の時間的運動パターンを明示的にモデル化し、識別能を向上させること。
• 異なる時間的解像度で特徴を処理しつつ、ブランチ間の特徴強化を可能にする効率的なデュアルヘッドアーキテクチャを設計すること。
• クロスヘッドアテンション機構が異なるスケール間での表現学習をどのように向上させるかを検証すること。
• NTU RGB+D 60、NTU RGB+D 120、Kinetics-Skeleton を含む大規模ベンチマークで最先端の性能を達成すること。

提案手法

• 本手法は、粗粒度特徴（時間方向にダウンサンプリング）を処理するブランチと、元の解像度を維持する微粒度特徴（オリジナル解像度）を処理するブランチの2本のインタラーブルGCNブランチを備えたデュアルヘッドグラフニューラルネットワークを採用する。
• 入力骨格シーケンスからベース特徴をバックボーンGCNが抽出した後、2つのブランチに分割する。
• 粗粒度ブランチはダウンサンプリングされた特徴を処理し、低時間解像度での包括的な運動パターンを捉える。
• 微粒度ブランチは時間的解像度を完全に保持し、埋め込み関数を用いて詳細な運動表現を生成する。
• 微粒度ブランチから粗粒度ブランチへ微粒度の文脈的情報を転送するため、時間的および空間的クロスヘッドアテンション機構を導入し、表現能力を向上させる。
• 両ブランチの最終的特徴を統合して二重スケールの行動分類を実現し、モデルの複雑さと性能のバランスを取るために簡略化を施した。

実験結果

リサーチクエスチョン

• RQ1 粗粒度および微粒度の時間的運動パターンを同時にモデル化することで、骨格データにおける行動認識性能が向上するか？
• RQ2 デュアルヘッドグラフネットワークは、異なる時空間的スケール間で特徴を効果的に抽出・通信できるか？
• RQ3 クロスヘッドアテンション機構は、粗粒度および微粒度ブランチ間の特徴表現をどのように向上させるか？
• RQ4 時間的ダウンサンプリングレートが、粗粒度ブランチが意味のある運動パターンを捉える能力に与える影響は何か？
• RQ5 簡略化されたアーキテクチャは、モデルの複雑さを低減しつつも、高い精度を維持できるか？

主な発見

• 提案手法はNTU RGB+D X-Subで90.3%の最先端の正確度を達成し、このベンチマークで先行手法を上回った。
• NTU RGB+D 60では93.4%の正確度を達成し、行動クラス全体にわたる強力な一般化能力を示した。
• NTU RGB+D 120では88.7%の正確度を達成し、より大規模で複雑な行動セットに対しても有効性を確認した。
• Kinetics-Skeletonでは78.9%の正確度を達成し、大規模かつ多様な行動データセットでも堅牢性を示した。
• アブレーションスタディの結果、クロスヘッドアテンションは自己学習アテンションに比べて正確度を0.3%向上させた。これは、特徴通信におけるその価値を裏付けた。
• 粗粒度ブランチにおける最適な時間的ダウンサンプリングレートは1/2であり、これ以上のダウンサンプリングは重要なフレームの損失により正確度を低下させた。