[論文レビュー] Two-Stream Transformer Architecture for Long Video Understanding

Edward B. Fish, Jon Weinbren+1 more|arXiv (Cornell University)|Aug 2, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、事前学習された畳み込みニューラルネットワーク（CNN）から空間的画像特徴量と時間的文脈特徴量を統合することで、データおよびメモリ効率の高い長時間動画理解を実現する2ストリーム変換器アーキテクチャ「STAN」を提案する。2ストリーム変換器の枠組みに畳み込みのインダクティブバイアスを活用することで、STANは1枚のGPUで最大2分間の動画分類を実行し、長時間動画タスクで最先端（SOTA）の性能を達成する。

ABSTRACT

Pure vision transformer architectures are highly effective for short video classification and action recognition tasks. However, due to the quadratic complexity of self attention and lack of inductive bias, transformers are resource intensive and suffer from data inefficiencies. Long form video understanding tasks amplify data and memory efficiency problems in transformers making current approaches unfeasible to implement on data or memory restricted domains. This paper introduces an efficient Spatio-Temporal Attention Network (STAN) which uses a two-stream transformer architecture to model dependencies between static image features and temporal contextual features. Our proposed approach can classify videos up to two minutes in length on a single GPU, is data efficient, and achieves SOTA performance on several long video understanding tasks.

研究の動機と目的

• 純粋なビジョン変換器が長時間動画理解（LVU）タスクにおいてデータおよびメモリ効率が低い問題に対処する。
• 長時間動画向けに自己注意機構の2次関数的複雑性と、標準的な変換器におけるインダクティブバイアスの欠如を克服する。
• 畳み込みニューラルネットワーク（CNN）からのインダクティブバイアスを変換器アーキテクチャに組み込むことで、データ効率を向上させる。
• リソース制約のあるハードウェア（例：1枚のGPU）上で、長時間動画分類モデルのエンドツーエンド学習および推論を可能にする。
• 計算上の実行可能性を保ちながら、長時間動画理解ベンチマークで最先端の性能を達成する。

提案手法

• 2ストリームアーキテクチャを採用：1本目のストリームは事前学習済み2次元CNNを用いて個々のフレームの空間的画像特徴量を処理し、2本目のストリームは1次元時間的エンコーダーを用いて時間的文脈特徴量を処理する。
• 両ストリームから固定サイズのトークンを抽出する：空間的トークンは画像レベルの特徴量から、時間的トークンはフレームの順序的表現から得る。
• 空間的および時間的トークンを統合し、長距離依存性をモデル化するため、共有の変換器エンコーダーに供給する。分類用の可学習トークンを追加する。
• 位置エンコーディングを適用して、変換器入力における空間的および時間的順序情報を維持する。
• 標準的な最適化法とデータオーグメンテーションを用い、交差エントロピー損失に基づいて、エンドツーエンドでネットワーク全体を学習する。
• 知識蒸留とアブレーションスタディを用いて、2ストリーム設計および特徴量統合戦略の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースの特徴抽出を組み込んだ2ストリーム変換器アーキテクチャは、長時間動画理解におけるデータおよびメモリ効率を向上させることができるか？
• RQ2 CNNからのインダクティブバイアスを統合することで、ビジョン変換器の長時間動画タスクにおける性能とサンプル効率はどのように変化するか？
• RQ3 1枚のGPUを用いて、最大2分間の動画を分類できる変換器ベースのモデルの限界はどこか？
• RQ4 統合の前に空間的および時間的特徴量を別々に処理することで、3次元トークン化を併用する手法よりも高い性能が得られるか？
• RQ5 本手法は、長時間動画ベンチマークにおいて、正確性、データ効率、計算フットプリントの観点から最先端の手法と比較してどう異なるか？

主な発見

• STANはMMX-Trailer-20データセットで最先端の性能を達成し、重み付きF1スコアが0.65、mAPが0.64を記録し、ResNet、I3D、SqueezeNetを含むすべてのベースラインを上回った。
• スリラー映画ジャンルでは、次に優れた手法と比較して正確性が+58%向上し、強力な長期的時間的推論能力を示した。
• STAN-Largeを用いて6047件のサンプルを用いた全データセットではmAPが0.7506に達し、蒸留モデル（0.6005 mAP）およびアブレーションバージョンを大きく上回った。
• 2000件の訓練サンプルでのみ学習したSTAN-SmallでもmAPが0.6401に達し、低データ環境下での強力なデータ効率と一般化性能を示した。
• クラスアクティベーションマップは、モデルが意味のある空間的および時間的注意を学習しており、家族映像では顔など関連する視覚的キーポイントに注目していることを確認した。
• アブレーションスタディの結果、バックプロpagationを有効にした時間ストリームが最高のmAP（0.6221）を記録した一方で、バックプロパゲーションなしの空間ストリームは性能が著しく低かった（0.4024 mAP）。これは、時間的モデリングが性能に不可欠であり、共同最適化の重要性を示している。