[論文レビュー] Decoupled Spatial-Temporal Attention Network for Skeleton-Based Action Recognition

Lei Shi, Yifan Zhang+2 more|arXiv (Cornell University)|Jul 7, 2020

Human Pose and Action Recognition参考文献 32被引用数 27

ひとこと要約

本論文は、手作業で作成されたグラフトポロジー や走査ルールに依存せずに自己注意メカニズムを活用する、骨格ベースの行動認識のための分離型空間的・時系列的注意ネットワーク（DSTA-Net）を提案する。空間的および時系列的注意を分離することで、別々の位置エンコーディングを適用し、空間的グローバル正則化を導入することで、4つのベンチマークデータセットにおいて最先端の性能を達成した。特に、SHRECでは97.0%の正確度、NTU-120では86.6%を達成した。

ABSTRACT

Dynamic skeletal data, represented as the 2D/3D coordinates of human joints, has been widely studied for human action recognition due to its high-level semantic information and environmental robustness. However, previous methods heavily rely on designing hand-crafted traversal rules or graph topologies to draw dependencies between the joints, which are limited in performance and generalizability. In this work, we present a novel decoupled spatial-temporal attention network(DSTA-Net) for skeleton-based action recognition. It involves solely the attention blocks, allowing for modeling spatial-temporal dependencies between joints without the requirement of knowing their positions or mutual connections. Specifically, to meet the specific requirements of the skeletal data, three techniques are proposed for building attention blocks, namely, spatial-temporal attention decoupling, decoupled position encoding and spatial global regularization. Besides, from the data aspect, we introduce a skeletal data decoupling technique to emphasize the specific characteristics of space/time and different motion scales, resulting in a more comprehensive understanding of the human actions.To test the effectiveness of the proposed method, extensive experiments are conducted on four challenging datasets for skeleton-based gesture and action recognition, namely, SHREC, DHG, NTU-60 and NTU-120, where DSTA-Net achieves state-of-the-art performance on all of them.

研究の動機と目的

• 従来の骨格ベースの行動認識手法における手作業で作成されたグラフトポロジー や走査ルールの制限を解消すること。
• 事前の構造的仮定なしに、骨格系列における空間的および時系列的依存関係をエンドツーエンドでモデル化すること。
• 空間的意味的整合性や運動スケール感受性といったドメイン固有のインダクティブバイアスを組み込むことで、モデルの汎化性能と性能を向上させること。
• 既存の手法を上回る性能を示す統一的で純粋に注意メカニズムに依存するフレームワークを提供すること。

提案手法

• 自己注意メカニズムを空間的および時系列的注意ブロックに分離することで、空間的および時系列的依存関係を独立してモデル化しつつ、それらの相互作用を維持する。
• 空間的および時系列的次元のための分離型位置エンコーディングを導入し、関節の順序や接続性を仮定せずに位置の認識を提供する。
• 固定された身体関節の意味的役割を活用することで、異なるサンプル間で一貫した注意パターンを強制する空間的グローバル正則化を適用する。
• 入力を空間的（運動に依存しない）および時系列的（運動に依存する）ストリームに分離する骨格データ分離技術を採用し、異なる行動特性に焦点を当てた学習を可能にする。
• 空間的、時系列的、遅延時系列的、高速時系列的の4つのストリームからの特徴を早期または後期の特徴融合によって統合し、マルチスケールの運動および形状パターンを捉える。
• RNN、CNN、GCNを一切使用せず、学習されたクエリ、キー、バリューにのみ依存する多頭注目（multi-head self-attention）に基づく純粋な注目アーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 手作業で作成されたトポロジーに依存せずに、純粋な自己注意メカニズムが、グラフベースやRNNベースのモデルを上回る性能を発揮できるか？
• RQ2 骨格系列における空間的および時系列的依存関係を独立して効果的にモデル化する方法は何か？ これにより、それらの固有の意味が保持されるか？
• RQ3 事前に定義された関節順序や構造が存在しない状況下で、分離型位置エンコーディングはどのように注目モデルの性能を向上させるか？
• RQ4 固定された関節の意味的役割を活用することで、空間的グローバル正則化が、一貫した注目パターンを強制することによって汎化性能を向上させられるか？
• RQ5 骨格データを空間的および時系列的モodalに分離することで、多様な行動データセットにおける特徴学習および認識正確度が向上するか？

主な発見

• DSTA-Netは14のジェスチャーを含むSHRECデータセットで97.0%の正確度を達成し、以前の最先端手法の94.4%を2.6ポイント上回った。
• 28のジェスチャーを含むDHGデータセットでは、DSTA-Netは93.9%の正確度を達成し、以前の最先端手法を3.2ポイント上回った。
• NTU-60では、クロスサブジェクトベンチマークで91.5%、クロスビューベンチマークで96.4%の正確度を達成し、それぞれ以前の最先端手法を1.6%および0.3%上回った。
• 最近リリースされたNTU-120データセットでは、クロスサブジェクトベンチマークで86.6%、クロスセットアップベンチマークで89.0%の正確度を達成し、新たな最先端の基準を確立した。
• アブレーションスタディの結果、4ストリームの特徴統合（空間的、時系列的、遅延時系列的、高速時系列的）が相補的な改善をもたらし、空間的ストリームは形状に基づく行動で優れた性能を示し、時系列的ストリームは運動に基づく行動で優れた性能を示した。
• 各クラスの正確度の可視化結果から、空間的ストリームは「ピンチ」や「グラブ」、時系列的ストリームは「スワイプ」や「シェイク」などの行動クラスで特化していることが確認され、モダリティの相補性が裏付けられた。