[論文レビュー] Focal and Global Spatial-Temporal Transformer for Skeleton-based Action Recognition

Zhimin Gao, Peitao Wang+6 more|arXiv (Cornell University)|Oct 6, 2022

Human Pose and Action Recognition被引用数 5

ひとこと要約

本稿では、焦点関節選択とグローバルな部品間相互作用を用いて空間的および時間的モデリングを向上させる、骨格ベースの行動認識のための新しいトランスフォーマー型モデルであるFG-STFormerを提案する。時間スティリームにおいて拡張畳み込みを組み込んだ焦点的およびグローバルなアテンション機構を統合することで、NTU-60、NTU-120、NW-UCLAで最先端の性能を達成し、従来のトランスフォーマーおよびGCNベースの手法を上回った。

ABSTRACT

Despite great progress achieved by transformer in various vision tasks, it is still underexplored for skeleton-based action recognition with only a few attempts. Besides, these methods directly calculate the pair-wise global self-attention equally for all the joints in both the spatial and temporal dimensions, undervaluing the effect of discriminative local joints and the short-range temporal dynamics. In this work, we propose a novel Focal and Global Spatial-Temporal Transformer network (FG-STFormer), that is equipped with two key components: (1) FG-SFormer: focal joints and global parts coupling spatial transformer. It forces the network to focus on modelling correlations for both the learned discriminative spatial joints and human body parts respectively. The selective focal joints eliminate the negative effect of non-informative ones during accumulating the correlations. Meanwhile, the interactions between the focal joints and body parts are incorporated to enhance the spatial dependencies via mutual cross-attention. (2) FG-TFormer: focal and global temporal transformer. Dilated temporal convolution is integrated into the global self-attention mechanism to explicitly capture the local temporal motion patterns of joints or body parts, which is found to be vital important to make temporal transformer work. Extensive experimental results on three benchmarks, namely NTU-60, NTU-120 and NW-UCLA, show our FG-STFormer surpasses all existing transformer-based methods, and compares favourably with state-of-the art GCN-based methods.

研究の動機と目的

• 既存のトランスフォーマーモデルがすべての関節を同等に扱い、局所的ダイナミクスを効果的にモデル化できないという限界を是正すること。
• 判別性の高い局所的関節（焦点関節）に注目することで空間的モデリングを向上させるとともに、身体部位表現を用いてグローバルな構造的依存関係を保持すること。
• 自己アテンション機構内に拡張畳み込みを統合することで、短距離の運動パターンを明示的に捉えることにより、時間的モデリングを強化すること。
• クロスアテンションを用いて焦点関節と身体部位の間の相互作用を共同で学習することで、空間的依存関係の表現を向上させること。
• グラフ畳み込みネットワークに依存せずに、標準的な骨格行動認識ベンチマークで最先端の性能を達成すること。

提案手法

• 情報の多い焦点関節を適応的に選択し、マルチヘッド自己アテンションを用いてそれらの相関関係をモデル化する空間トランスフォーマーであるFG-SFormerを提案。非情報的な関節は除外される。
• 構造的コンテキストを捉えるためにグローバルな身体部位表現を導入。焦点関節と身体部位の間で相互クロスアテンションを実施し、空間的連携を強化する。
• 時間的アテンション機構に拡張畳み込みを統合することで、局所的な時間的運動パターンを明示的にモデル化する時間トランスフォーマーであるFG-TFormerを設計。
• 二重スティリームアーキテクチャを採用。FG-SFormerは空間モデリング、FG-TFormerは時間モデリングを担当し、両者とも関節および部位表現を処理する。
• 各行動における情報量に基づいて焦点関節を特定・優先順位付けするため、学習可能なアテンションスコアメカニズムを採用。
• 関節、ボーン、関節運動、ボーン運動の4つのモodalを統合することで、一般化性能およびロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー型モデルは、骨格ベースの行動認識において、局所的な判別性の高い関節とグローバルな身体部位構造の両方を効果的にモデリングできるか？
• RQ2 ベーシックなトランスフォーマーにインダクティブバイアスが欠如している場合、長大な骨格シーケンスにおける短時間の時間的ダイナミクスを捉えるにはどうすればよいか？
• RQ3 拡張畳み込みを用いて局所的な時間的パターンを明示的にモデル化することで、行動認識のためのトランスフォーマーにおける時間的表現学習が向上するか？
• RQ4 クロスアテンションを用いた関節と部位の相互作用モデリングは、全関節に対する標準的な自己アテンションに比べ、空間的依存関係の学習を向上させられるか？
• RQ5 純粋なトランスフォーマーアーキテクチャは、標準的な骨格行動認識ベンチマークで最先端のGCNベースのモデルを上回るか、同等の性能を達成できるか？

主な発見

• NTU-60 (X-Sub) では92.6%のトップ-1正答率を達成し、すべての既存のトランスフォーマー型手法を上回った。
• NTU-120では、X-Subで89.0%、X-Setで90.6%のトップ-1正答率を記録し、前回のSOTA手法STSTをそれぞれ0.1%および1.6%上回った。
• NW-UCLAでは97.0%のトップ-1正答率を達成し、前回のSOTA手法CTR-GCNを0.5%上回り、新たな最先端を樹立した。
• アブレーションスタディの結果、焦点関節選択と拡張畳み込みの統合が、特に手、足、頭部に関わる微細な行動において顕著に性能向上をもたらすことが確認された。
• 可視化結果から、焦点関節は一貫して重要な身体部位（例：手、足、肩）に選択されており、アテンション重みは行動の意味論と整合した関節-部位相互作用を示している。
• 基本的なトランスフォーマーベースラインに比べ、FG-TFormerブロックは微細な行動クラスにおける正答率を向上させ、微妙な運動パターンを捉える有効性を示した。