[論文レビュー] GCsT: Graph Convolutional Skeleton Transformer for Action Recognition.

Ruwen Bai, Min Li+5 more|arXiv (Cornell University)|Sep 7, 2021

Human Pose and Action Recognition参考文献 26被引用数 5

ひとこと要約

GCsTは、骨格ベースの行動認識のためのハイブリッドアーキテクチャを提案し、局所的な空間時間的依存性をGCNでモデル化し、動的でグローバルなアテンションをTransformerで実現する。このモデルは、統一的で表現力に富んだフレームワークにより、局所的なトポロジーとグローバルなコンテキストを効果的に統合し、NTU RGB+D、NTU RGB+D 120、Northwestern-UCLAのデータセットで最先端の性能を達成した。

ABSTRACT

Graph convolutional networks (GCNs) achieve promising performance for skeleton-based action recognition. However, in most GCN-based methods, the spatial-temporal graph convolution is strictly restricted by the graph topology while only captures the short-term temporal context, thus lacking the flexibility of feature extraction. In this work, we present a novel architecture, named Graph Convolutional skeleton Transformer (GCsT), which addresses limitations in GCNs by introducing Transformer. Our GCsT employs all the benefits of Transformer (i.e. dynamical attention and global context) while keeps the advantages of GCNs (i.e. hierarchy and local topology structure). In GCsT, the spatial-temporal GCN forces the capture of local dependencies while Transformer dynamically extracts global spatial-temporal relationships. Furthermore, the proposed GCsT shows stronger expressive capability by adding additional information present in skeleton sequences. Incorporating the Transformer allows that information to be introduced into the model almost effortlessly. We validate the proposed GCsT by conducting extensive experiments, which achieves the state-of-the-art performance on NTU RGB+D, NTU RGB+D 120 and Northwestern-UCLA datasets.

研究の動機と目的

• 骨格ベースの行動認識における固定グラフトポロジーの制限を解消し、柔軟な特徴抽出を可能にする。
• 従来のGCNモデルが有する短期間の時間的コンテキストの制限を克服し、グローバルな空間時間的モデリングを可能にする。
• Transformerの動的アテンションとグローバルコンテキストの長所を、階層的かつ局所的な構造的インダクティブバイアスを失わずGCNフレームワークに統合する。
• 統一的で包括的なアーキテクチャを通じて、骨格シーケンスからのより豊かな情報を統合し、表現能力を向上させる。
• 骨格ベースの行動認識のための複数のベンチマークデータセットで最先端の性能を達成する。

提案手法

• 空間時間的グラフ畳み込みネットワーク（GCN）とTransformerの自己注意メカニズムを組み合わせた新規アーキテクチャ、GCsTを提案する。
• 事前に定義された骨格トポロジーに基づいて、局所的な空間時間的依存性を明示的にモデル化するためGCNを用いる。
• すべてのジョイントとフレームに対して動的かつ長距離の空間時間的関係を学習できるように、Transformerモジュールを統合する。
• すべてのノードと時間ステップにわたってアテンションを許容し、局所的受容場域を超えたグローバルコンテキストを捉える。
• GCNとTransformerの出力を統合することで、局所構造を保持するとともに、グローバルな表現力の強化を実現する。
• 最小限のアーキテクチャ変更で、骨格シーケンスからの追加情報をモデルに組み込み、注意メカニズムを用いてシームレスに統合する。

実験結果

リサーチクエスチョン

• RQ1 GCNとTransformerをハイブリッドに組み合わせたアーキテクチャは、骨格ベースの行動認識における局所的およびグローバルなモデリングを向上させることができるか？
• RQ2 Transformerの動的自己注意メカニズムの統合は、骨格シーケンスにおける長距離依存性のモデリングをどのように向上させるか？
• RQ3 GCNによる局所トポロジーの保持は、純粋なTransformerベースのモデルと比較して、骨格データにおいてどの程度性能向上に寄与するか？
• RQ4 提案されたGCsTモデルは、アーキテクチャの複雑化を避けながら、より豊かな骨格シーケンス情報の統合を効果的に行えるか？
• RQ5 GCNとTransformerのコンポONENTの統合は、標準的な骨格行動認識ベンチマークで最先端の性能を達成するか？

主な発見

• GCsTはNTU RGB+Dデータセットで最先端の性能を達成し、行動認識の正確性において従来手法を上回った。
• 大規模なNTU RGB+D 120データセットでも、新たな最先端の結果を達成し、スケーラビリティとロバストネスを示した。
• Northwestern-UCLAデータセットでは、報告された最高の正確性を達成し、多様な行動認識ベンチマークへの一般化能力を確認した。
• アブレーションスタディの結果、GCNとTransformerの両コンポonentが性能向上に顕著に寄与しており、統合が最良の結果をもたらした。
• モデルは局所的依存性と長距離の空間時間的関係の両方を効果的に捉えており、特徴表現の向上に寄与した。
• 注意メカニズムを用いることで、追加の骨格シーケンス情報の統合がシームレスに実現され、複雑性を増すことなくモデルの表現力を向上させた。