[論文レビュー] Transformers in Action Recognition: A Review on Temporal Modeling

Elham Shabaninia, Hossein Nezamabadi–pour+1 more|arXiv (Cornell University)|Dec 29, 2022

Human Pose and Action Recognition被引用数 10

ひとこと要約

この論文は、動画行動認識における時系列モデリングのためのトランスフォーマーに基づく手法をレビューし、動画フレーム間の長距離依存関係を捉える自己注意メカニズムに焦点を当てる。アプローチをモーションベース、3D CNN、RNN、トランスフォーマー、ハイブリッド手法の5つに分類し、注意重みと位置エンコーディングを用いた学習可能なアテンションにより、トランスフォーマーがグローバルな時系列ダイナミクスをモデリングする優位性を強調する。

ABSTRACT

In vision-based action recognition, spatio-temporal features from different modalities are used for recognizing activities. Temporal modeling is a long challenge of action recognition. However, there are limited methods such as pre-computed motion features, three-dimensional (3D) filters, and recurrent neural networks (RNN) for modeling motion information in deep-based approaches. Recently, transformers success in modeling long-range dependencies in natural language processing (NLP) tasks has gotten great attention from other domains; including speech, image, and video, to rely entirely on self-attention without using sequence-aligned RNNs or convolutions. Although the application of transformers to action recognition is relatively new, the amount of research proposed on this topic within the last few years is astounding. This paper especially reviews recent progress in deep learning methods for modeling temporal variations. It focuses on action recognition methods that use transformers for temporal modeling, discussing their main features, used modalities, and identifying opportunities and challenges for future research.

研究の動機と目的

• 動画行動認識における時系列変動をモデリングする最近の深層学習手法を調査すること。
• 既存のアプローチを5つのグループに分類すること：モーションベース特徴、3D CNN、RNN、トランスフォーマー、ハイブリッドモデル。
• トランスフォーマーに基づくフレームワーク内での異なる視覚モダリティ（RGB、深度、スケルトン）の性能を分析すること。
• トランスフォーマーを用いた時系列モデリングにおける未解決の課題と今後の研究方向性を特定すること。
• 畳み込みニューラルネットワーク（CNN）やRNNにおける局所的演算と比較して、自己注意がグローバルな文脈学習をどのように可能にするかを包括的に概説すること。

提案手法

• 論文は、行動認識におけるトランスフォーマーに基づくアーキテクチャを分析するための体系的レビュー手法を採用する。
• クエリ、キー、値を用いて定義される自己注意メカニズムを検討し、スケーリングドットプロダクトアテンションを用いる：$ Z = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $。
• マルチヘッドアテンションは、複数のアテンションヘッドを並列で計算し、異なる部分空間における表現学習を向上させる。
• 順序の保存のため、入力シーケンスに位置エンコーディングを追加する。トランスフォーマーは再帰的または畳み込み的インダクティブバイアスを欠いているため、これが必要となる。
• 残差接続とレイヤーナーミャライゼーションを各サブレイヤーの後に適用することで、トランスフォーマーのエンコーダ-デコーダ構造をレビューする。
• 3D畳み込みやRNNといった従来手法と比較し、アテンションが長距離依存関係をモデリングする能力に注目する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーは、3D CNN や RNN と比較して、動画行動認識における時系列モデリングをどのように改善するか？
• RQ2 効果的な長距離時系列依存関係学習を可能にするトランスフォーマー・モデルの主なアーキテクチャ的要素は何か？
• RQ3 RGB、深度、スケルトンといった異なる視覚モダリティは、トランスフォーマーに基づく時系列モデリングと組み合わせた際に、どのように性能を示すか？
• RQ4 トランスフォーマーを行動認識タスクに適用する際の主な制限要因と課題は何か？
• RQ5 CNN や RNN と組み合わせたハイブリッドモデルは、どのように性能を向上させるか？（例：トランスフォーマーと他のアーキテクチャの融合）

主な発見

• 自己注意メカニズムのおかげで、トランスフォーマーはグローバルなアテンション機構により、RNN や 3D CNN よりも長距離時系列依存関係を優れてモデリングする。
• 自己注意は、畳み込みの固定受容 field とは異なり、すべてのフレームにわたる動的で文脈に依存する特徴重み付けを可能にする。
• マルチヘッドアテンションにより、シーケンスの複数の部分空間に注目でき、特徴表現と一般化性能が向上する。
• 再帰的または畳み込み的インダクティブバイアスが欠落している中で、順序の保持のため位置エンコーディングが不可欠である。
• CNN や RNN と組み合わせたハイブリッドモデルは、局所的な空間的特徴と長距離時系列コンテキストの両方を活用することで、性能が向上する。
• 成功を収めているものの、トランスフォーマーは大規模なラベル付きデータセットを必要とし、計算コストが高く、リアルタイムデプロイメントには課題を伴う。