[論文レビュー] Alignment-guided Temporal Attention for Video Action Recognition

Yizhou Zhao, Zhenyang Li+2 more|arXiv (Cornell University)|Sep 30, 2022

Human Pose and Action Recognition被引用数 9

ひとこと要約

本稿では、隣接フレーム間の空間的パッチを事前にアライメントすることで、時系列アテンションを適用する前にフレーム表現の整合性を高める、パラメータフリーでプラグイン可能なモジュールであるAlignment-guided Temporal Attention (ATA)を提案する。Kuhn-Munkresアルゴリズムを用いて、隣接フレームの特徴量間のコサイン類似度に基づきパッチレベルでの最適アライメントを計算することで、フレーム表現間の相互情報量を向上させることで、3Dアテンションと同等の性能を達成しながら、2D+1D手法の効率性を維持する。Kinetics-400およびSomething-Something V2のベンチマークにおいて、最小限の計算コスト増で既存手法を上回る性能を発揮する。

ABSTRACT

Temporal modeling is crucial for various video learning tasks. Most recent approaches employ either factorized (2D+1D) or joint (3D) spatial-temporal operations to extract temporal contexts from the input frames. While the former is more efficient in computation, the latter often obtains better performance. In this paper, we attribute this to a dilemma between the sufficiency and the efficiency of interactions among various positions in different frames. These interactions affect the extraction of task-relevant information shared among frames. To resolve this issue, we prove that frame-by-frame alignments have the potential to increase the mutual information between frame representations, thereby including more task-relevant information to boost effectiveness. Then we propose Alignment-guided Temporal Attention (ATA) to extend 1-dimensional temporal attention with parameter-free patch-level alignments between neighboring frames. It can act as a general plug-in for image backbones to conduct the action recognition task without any model-specific design. Extensive experiments on multiple benchmarks demonstrate the superiority and generality of our module.

研究の動機と目的

• 動画時系列モデリングにおける、フレーム間・位置間の相互作用の効率性と十分性のトレードオフを解消すること。
• 明示的なアライメントによるフレーム表現間の相互情報量の増加を通じて、タスク関連の情報抽出を向上させること。
• 画像ベースのバックボーンと互換性を持つ汎用的で、即座に接続可能なモジュールを設計すること。
• アライメントガイドドアテンションが、因子分解型（2D+1D）および統合型（3D）の空間時系列アテンション機構を上回る精度と効率性を達成できることを示すこと。

提案手法

• 隣接フレーム間の空間的パッチをアライメントした後、時系列自己アテンションを適用するプラグインモジュールとして、Alignment-guided Temporal Attention (ATA)を提案する。
• 隣接フレーム特徴量間のコサイン類似度に基づき、Kuhn-Munkresアルゴリズム（KMA）を用いて最適なパッチレベルアライメントを計算する。
• アテンション処理後はアライメントを解除することで、空間的構造を保持する。
• フレーム単位のアライメントがフレーム表現間の相互情報量を増加させることを理論的に証明する。
• 完全な3Dアテンションを回避することで計算効率を維持し、計算量はO(TH³W³ + TH²W²d + T²HWd)とし、統合型3Dアテンションより低くなる。
• アーキテクチャの変更なしに、標準的な画像トランスフォーマー（例：ViT、TimeSformer、ConvNeXt）と互換性を持つように設計されている。

実験結果

リサーチクエスチョン

• RQ1 隣接フレーム間の明示的なパッチレベルアライメントは、動画モデリングにおけるフレーム表現間の相互情報量を向上させることができるか？
• RQ2 アライメントガイドドアテンションは、因子分解型（2D+1D）および統合型（3D）の空間時系列アテンション機構を上回る性能を発揮するか？
• RQ3 パラメータフリーでアライメントに基づくモジュールは、既存の画像認識バックボーンに効果的に統合可能か？
• RQ4 アライメントブロックの数が性能に与える影響は何か？最適な配置はどこか？

主な発見

• Kinetics-400では79.6%のトップ-1精度を達成し、因子分解型アテンション（78.0%）および統合型アテンション（77.4%）を上回り、FLOPsとパラメータ数はほぼ同等を維持した。
• Something-Something V2では、アライメントなしのベースラインモデルと比較してトップ-1精度を1.6%向上させ、より優れた動きモデリング能力を示した。
• 1つの段階（例：ブロック0–2）にATAを挿入するだけで1.3%の精度向上が得られ、統合が最小限でも効果的であることが示された。
• ATAを搭載したモデルは、動きのあるオブジェクト（例：アクションシーケンスにおける頭部）に集中した活性化を示す一方、ベースラインのアテンションは固定された空間的パターンのため、静的背景に過剰に反応することがある。
• ATAの計算複雑度はKMAステップ（O(TH³W³)）が支配的であるが、統合型3Dアテンション（O(T²H²W²d)）より低いため、長時間動画へのスケーラビリティに優れる。
• 定性的な分析から、ATAは空間的一致性を保持し、動きの兆候に強化された活性化をもたらすことが確認された。これに対して、平均化や標準アテンションは動的コンテンツをぼやけさせたり、不適切にアライメントさせたりする。