[論文レビュー] Spatial Temporal Graph Attention Network for Skeleton-Based Action Recognition

Lianyu Hu, Shenglan Liu+1 more|arXiv (Cornell University)|Aug 18, 2022

Human Pose and Action Recognition被引用数 9

ひとこと要約

本稿では、空間的・時間的依存関係を適応的かつ局所的な注目メカニズムでモデル化することで、骨格ベースの行動認識を向上させるSTGAT（Spatial-Temporal Graph Attention Network）を提案する。空間モジュールに空間的・時間的モデリングを統合し、特徴の重複を低減する3つの軽量モジュールを導入することで、NTU RGB+D 60、NTU RGB+D 120、Kinetics Skeleton 400で最先端の性能を達成した。特にNTU RGB+D 60（X-Sub）では92.8%のトップ-1精度を達成し、類似行動の分類を顕著に改善した。

ABSTRACT

It's common for current methods in skeleton-based action recognition to mainly consider capturing long-term temporal dependencies as skeleton sequences are typically long (>128 frames), which forms a challenging problem for previous approaches. In such conditions, short-term dependencies are few formally considered, which are critical for classifying similar actions. Most current approaches are consisted of interleaving spatial-only modules and temporal-only modules, where direct information flow among joints in adjacent frames are hindered, thus inferior to capture short-term motion and distinguish similar action pairs. To handle this limitation, we propose a general framework, coined as STGAT, to model cross-spacetime information flow. It equips the spatial-only modules with spatial-temporal modeling for regional perception. While STGAT is theoretically effective for spatial-temporal modeling, we propose three simple modules to reduce local spatial-temporal feature redundancy and further release the potential of STGAT, which (1) narrow the scope of self-attention mechanism, (2) dynamically weight joints along temporal dimension, and (3) separate subtle motion from static features, respectively. As a robust feature extractor, STGAT generalizes better upon classifying similar actions than previous methods, witnessed by both qualitative and quantitative results. STGAT achieves state-of-the-art performance on three large-scale datasets: NTU RGB+D 60, NTU RGB+D 120, and Kinetics Skeleton 400. Code is released.

研究の動機と目的

• 類似行動を区別する上で重要な短時間的な時間的依存関係を捉えることが、従来手法の限界であることを解決すること。
• 空間のみまたは時間のみのモジュールに分離することで、隣接フレーム間の関節間の情報フローが妨げられる問題を克服すること。
• 直接的な局所的空間的・時間的関係のモデリングにより、類似行動ペアの性能を向上させること。
• 軽量で効果的なモジュールを用いて、局所的空間的・時間的特徴の重複を低減すること。
• 大規模な骨格データセットにおいて、より高い効率性と一般化性能を実現した最先端の性能を達成すること。

提案手法

• 空間的・時間的モデリングを空間モジュールに統合することで、直接的な空間的・時間的情報フローを可能にする汎用的なフレームワークSTGATを提案する。
• 隣接フレーム内のノードを接続することで局所的な空間的・時間的グラフを構築し、エッジ重みを動きのパターンに応じて適応的に計算する。
• 自己注意の受容 field を制限するスコープ狭小化モジュールを導入し、計算コストと重複を低減する。
• 情報量の多いフレームを強調し、静止またはノイズの多いフレームを抑制する動的時間重み付けモジュールを適用する。
• 微細な動き特徴を静的ポーズ特徴から分離するモーション分離モジュールを提案し、識別性能を向上させる。
• 最終的なSTGATブロックで二重パス集約戦略を採用することで、パrameterの増加を最小限に抑えつつ特徴表現を強化する。

実験結果

リサーチクエスチョン

• RQ1 空間のみまたは時間のみのモジュールよりも、統合された空間的・時間的モデリングフレームワークが、類似行動認識のための短時間運動を捉える上で優れているか。
• RQ2 固定または密な接続と比較して、空間的・時間的グラフにおける適応的かつ局所的なエッジ構築が、特徴表現をどのように改善するか。
• RQ3 注目範囲制御、動的時間重み付け、モーション分離のための軽量モジュールが、どれほど重複を低減し、性能を向上させるか。
• RQ4 従来の最先端手法と比較して、STGATは類似行動ペアにおいてより良い一般化性能を示すか。
• RQ5 既存のグラフベースのモデルと比較して、STGATはより低い計算コストとメモリ使用量で最先端の性能を達成できるか。

主な発見

• NTU RGB+D 60データセット（X-Sub設定）において、STGATは92.8%のトップ-1精度を達成し、以前の最先端手法を上回った。
• NTU RGB+D 120では、X-Sub設定で88.7%、X-Set設定で90.4%のトップ-1精度を達成し、すべての先行手法を上回った。
• Kinetics Skeleton 400では、トップ-1精度39.2%、トップ-5精度62.8%を達成し、新たな最先端を樹立した。
• アブレーションスタディにより、提案された3つのモジュールの各々が性能向上に寄与していることが確認され、特に類似行動の区別において顕著な効果を示した。
• パラメータ数（2.4M）とGFLOPs（14.6）がMS-G3D Netより少ないにもかかわらず、優れた性能を達成した。
• 可視化結果から、STGATの学習済みエッジは「手を振る」行動における動きに重要な関節（例：左手）に集中しているのに対し、ベースライン手法では焦点がぼやけているか、均一な注目を示していた。