[論文レビュー] GTA: Global Temporal Attention for Video Action Understanding

Bo He, Xitong Yang+4 more|arXiv (Cornell University)|Dec 15, 2020

Human Pose and Action Recognition参考文献 52被引用数 15

ひとこと要約

本稿では、グローバル・テンポラル・アテンション（GTA）を提案する。GTAは、個々の動画サンプルに依存しないグローバルなアテンション行列を学習することで、フレーム間の時間的関係を明示的にモデル化する、分離型アテンション機構である。このアテンションはピクセルレベルおよび意味的領域レベル（スーパーピクセル）に適用され、ペairwiseフレーム相互作用に依存せずに時間的モデリングを向上させ、最小限の計算コストで3つの動画行動認識ベンチマークでSOTA性能を達成する。

ABSTRACT

Self-attention learns pairwise interactions to model long-range dependencies, yielding great improvements for video action recognition. In this paper, we seek a deeper understanding of self-attention for temporal modeling in videos. We first demonstrate that the entangled modeling of spatio-temporal information by flattening all pixels is sub-optimal, failing to capture temporal relationships among frames explicitly. To this end, we introduce Global Temporal Attention (GTA), which performs global temporal attention on top of spatial attention in a decoupled manner. We apply GTA on both pixels and semantically similar regions to capture temporal relationships at different levels of spatial granularity. Unlike conventional self-attention that computes an instance-specific attention matrix, GTA directly learns a global attention matrix that is intended to encode temporal structures that generalize across different samples. We further augment GTA with a cross-channel multi-head fashion to exploit channel interactions for better temporal modeling. Extensive experiments on 2D and 3D networks demonstrate that our approach consistently enhances temporal modeling and provides state-of-the-art performance on three video action recognition datasets.

研究の動機と目的

• 従来の自己アテンションが、外見的類似性に偏る空間的・時間的モデリングが混同されているという動画行動認識における限界を是正すること。
• ドット積自己アテンションが、順列不変性と個々のサンプルに依存するアテンション重みを持つことから、時間的モデリングに最適であるかどうかを検証すること。
• 個々のサンプルに依存せず、一般化可能な時間的構造を捉えるグローバルでタスク固有のアテンション行列を学習することで、時間的モデリングを向上させること。
• ピクセルと意味的に類似した領域（スーパーピクセル）の両方を対象とした、マルチレベルの空間的粒度を活用すること。
• チャネルごとの相互作用を活用するクロスチャネルマルチヘッドアテンションにより、時間的モデリングを強化すること。

提案手法

• 空間的・時間的自己アテンションを2段階に分離する：まず各フレーム内で標準的な自己アテンションを適用して空間的モデリングを行い、次にGTAを用いてフレーム間のグローバル時間的アテンションを実行する。
• 個々のサンプルに依存しないグローバルなアテンション行列を学習し、異なる動画サンプル間で一般化可能な時間的構造を符号化する。これにより、個々のサンプルに特有のペアワイズ相互作用を回避する。
• ピクセルレベルおよび領域レベル（スーパーピクセル）にGTAを適用することで、複数の空間的粒度で時間的関係を捉える。
• チャネル次元に沿って特徴マップをグループに分割するクロスチャネルマルチヘッド機構を導入し、各ヘッドが入力の異なる側面に注目できるようにする。
• ランダムに初期化された学習可能なグローバルアテンション行列を用い、エンド・ツー・エンドで訓練することで、行動認識に重要なキーフレームに注目するようにする。
• ピクセルレベルと領域レベルのGTAをクロスチャネルマルチヘッドアテンションと統合することで性能が向上し、特にグループ数が8に設定された場合に顕著である。

実験結果

リサーチクエスチョン

• RQ1 標準的な自己アテンションでは空間的・時間的情報のモデリングが混同されており、動画行動認識において最適でないのでは？
• RQ2 個々のサンプルに依存しないグローバルなアテンション行列は、個々のサンプルに特有のペアワイズアテンションよりも、時間的モデリングにおいてより一般化できるか？
• RQ3 空間的・時間的アテンションを分離することで、外見的類似性へのバイアスを低減し、性能向上が達成できるか？
• RQ4 ピクセルと領域の両方の空間的粒度で時間的関係をモデリングすることで、行動認識性能が向上するか？
• RQ5 クロスチャネルマルチヘッドアテンションは、グローバルアテンション機構における時間的モデリングの向上に寄与するか？

主な発見

• GTAは、計算コストを最小限に抑えながら、3つの動画行動認識ベンチマーク（SSv1：49.6%、SSv2：54.8%、Kinetics-400：83.4%）でSOTA性能を達成した。
• ピクセルレベルのGTAのみでも、位置符号化を用いた時間的自己アテンション（TAPE）よりSSv1で0.5%高い性能を示し、時間的順序のモデリングにおける優れた有効性を示した。
• 意味的領域（リージョンGTA）にGTAを適用すると、ピクセル単位のみに適用する場合よりも高い向上効果が得られ、特にクロスチャネルマルチヘッドアテンション（CCMH）を組み合わせた場合に1.0%の向上（CCMHなしでは0.3%）が確認された。
• クロスチャネルマルチヘッド機構におけるグループ数が8に設定された場合、SSv1およびSSv2で最適な性能が得られた。グループ数が大きくなると、1グループあたりのチャネル数が不足し、性能が低下した。
• GTAを用いた分離型フレームワークは、非局所ブロックやその変種（CGNL、GCNet）よりも顕著に性能を向上させた。これは、空間的・時間的・チャネル的モデリングが混同されているため、後者らが性能を発揮できなかったためである。
• 時間的自己アテンションにおける位置符号化は性能を9.6%向上させたが、GTAは依然としてそれを上回り、位置情報に依存せずに時間的順序を効果的に捉える能力を確認した。