[論文レビュー] STAR-Transformer: A Spatio-temporal Cross Attention Transformer for Human Action Recognition

Dasom Ahn, Sangwon Kim+2 more|arXiv (Cornell University)|Oct 14, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

本論文は、人間の行動認識の向上を図るために、ビデオフレームと人体スケルトンシーケンスを統合的にモデル化する新しいスパティオテンポラルクロスアテンショントランスフォーマー、STAR-Transformerを提案する。エンコーダ・デコーダアーキテクチャに、フル、ジグザグ、バイナリのスパティオテンポラルアテンションメカニズムを統合することで、Penn-ActionおよびNTU-RGB+Dデータセットで最先端の性能を達成し、F-Z（エンコーダ）およびF-B（デコーダ）設定を用いて98.7%の正確性を達成した。

ABSTRACT

In action recognition, although the combination of spatio-temporal videos and skeleton features can improve the recognition performance, a separate model and balancing feature representation for cross-modal data are required. To solve these problems, we propose Spatio-TemporAl cRoss (STAR)-transformer, which can effectively represent two cross-modal features as a recognizable vector. First, from the input video and skeleton sequence, video frames are output as global grid tokens and skeletons are output as joint map tokens, respectively. These tokens are then aggregated into multi-class tokens and input into STAR-transformer. The STAR-transformer encoder layer consists of a full self-attention (FAttn) module and a proposed zigzag spatio-temporal attention (ZAttn) module. Similarly, the continuous decoder consists of a FAttn module and a proposed binary spatio-temporal attention (BAttn) module. STAR-transformer learns an efficient multi-feature representation of the spatio-temporal features by properly arranging pairings of the FAttn, ZAttn, and BAttn modules. Experimental results on the Penn-Action, NTU RGB+D 60, and 120 datasets show that the proposed method achieves a promising improvement in performance in comparison to previous state-of-the-art methods.

研究の動機と目的

• 分離されたクロスマodal学習サブモデルを必要とせずに、行動認識におけるビデオとスケルトン特徴を効果的に統合する課題に対処すること。
• 標準的なビジョントランスフォーマーが長距離の時間的依存性およびマルチモーダルなスパティオテンポラル関係をモデル化する能力に欠けるという制限を克服すること。
• RGBビデオとスケルトンデータの両方から判別的なマルチフィーチャ表現を学習できる統合的かつエンドツーエンドで訓練可能なアーキテクチャを開発すること。
• 最終フレームに過剰に依存する標準的な自己アテンションとは異なり、すべての時間的フレームにバランスの取れたアテンションを可能にすることで、認識の正確性を向上させること。
• 共有されたCNNで埋め込まれたビデオとスケルトン入力をもとに導出されるマルチクラストークンを通じて、効率的でスケーラブルな特徴集約を実現すること。

提案手法

• モデルは、ビデオフレームからグローバルグリッドトークンを抽出する共有CNNと、スケルトンシーケンスからジョイントマップトークンを抽出する処理を行い、それらをマルチクラストークンに集約してSTAR-Transformerへの入力とする。
• エンコーダは、モダリティ間の長距離の空間的および時間的依存性を捉えるために、フルスパティオテンポラルアテンション（FAttn）と、新規のジグザグスパティオテンポラルアテンション（ZAttn）モジュールを採用する。
• デコーダは、分類のためのマルチフィーチャ表現の再構築と精練を目的として、FAttnとバイナリスパティオテンポラルアテンション（BAttn）モジュールを使用する。
• FAttn、ZAttn、BAttnが時間的および空間的次元でグローバルおよびローカルな特徴学習のバランスを取るように、エンコーダ・デコーダ構造に基づいて設計されたアーキテクチャである。
• クロスアテンションメカニズムは、ビデオとスケルトンモダリティ間の相互作用をモデル化するように特に調整されており、別個の特徴統合ネットワークを必要とせずに共同表現学習を可能にしている。
• 標準的な交差エントロピー損失を用いてエンドツーエンドで訓練され、Penn-ActionおよびNTU-RGB+D 60/120といった標準ベンチマークで評価されている。

実験結果

リサーチクエスチョン

• RQ1 分離されたクロスマodal学習モジュールを必要とせずに、ビデオフレームと人体スケルトンシーケンスの両方から統合的表現を効果的に学習できる統合トランスフォーマー・アーキテクチャは存在するか？
• RQ2 提案されたジグザグおよびバイナリスパティオテンポラルアテンションメカニズムは、ビジョントランスフォーマーにおける標準的なマルチヘッド自己アテンションと比較して、時間的モデリングをどのように改善するか？
• RQ3 共有されたCNN特徴から導出されるマルチクラストークンの使用は、モダリティ間での特徴アライメントおよび表現効率を向上させるか？
• RQ4 行動認識の正確性を最大化するために、エンコーダおよびデコーダにおけるアテンションモジュール（FAttn、ZAttn、BAttn）の最適な構成は何か？
• RQ5 提案されたアテンションメカニズムは、最終フレームに偏る傾向を避けるために、すべての時間的フレームにバランスの取れたアテンションを確保する程度はどの程度か？

主な発見

• F-Z（エンコーダ）およびF-B（デコーダ）設定が、NTU-RGB+D 120データセットで98.7%の最高正確性を達成し、以前の最先端手法を上回った。
• ジグザグおよびバイナリスパティオテンポラルアテンションメカニズムの使用により、標準的なFAttnとは異なり、すべてのフレームに均等なアテンションスコアが得られた。
• FAttnのみを用いた場合、行動の最後の3フレームにアテンションスコアが集中しており、初期および中盤のシーケンスダイナミクスのモデル化が不十分であることが示された。
• エンコーダにZAttn、デコーダにBAttnを組み合わせた構成は、特に行動遷移時によりバランスの取れて情報量の多いアテンションマップを生成した。
• 本モデルは、Penn-Action、NTU-RGB+D 60、NTU-RGB+D 120の3つのデータセットすべてで一貫した性能向上を示し、ロバストネスと一般化能力を示した。
• アブレーションスタディにより、過学習を防ぐために層数は3に制限すべきであり、この深さで性能がピークに達することが確認された。