[論文レビュー] TAM: Temporal Adaptive Module for Video Recognition

Zhaoyang Liu, Limin Wang+3 more|arXiv (Cornell University)|May 14, 2020

Human Pose and Action Recognition参考文献 51被引用数 22

ひとこと要約

本稿では、動的カーネル学習を局所的・位置に敏感な重要度マップと、グローバルで動画に適応する集約重みに分離することで、動画固有の時系列カーネルを生成する軽量でプラグイン可能なモジュール、Temporal Adaptive Module (TAM) を提案する。TAM は最小限の計算コストで 2D CNN を強化し、適応的かつ動画に依存する時系列モデリングにより、複雑な時系列ダイナミクスを効果的にモデル化することで、Kinetics-400 および Something-Something データセットで最先端のアクション認識性能を達成する。

ABSTRACT

Video data is with complex temporal dynamics due to various factors such as camera motion, speed variation, and different activities. To effectively capture this diverse motion pattern, this paper presents a new temporal adaptive module ({\bf TAM}) to generate video-specific temporal kernels based on its own feature map. TAM proposes a unique two-level adaptive modeling scheme by decoupling the dynamic kernel into a location sensitive importance map and a location invariant aggregation weight. The importance map is learned in a local temporal window to capture short-term information, while the aggregation weight is generated from a global view with a focus on long-term structure. TAM is a modular block and could be integrated into 2D CNNs to yield a powerful video architecture (TANet) with a very small extra computational cost. The extensive experiments on Kinetics-400 and Something-Something datasets demonstrate that our TAM outperforms other temporal modeling methods consistently, and achieves the state-of-the-art performance under the similar complexity. The code is available at \url{ https://github.com/liu-zhy/temporal-adaptive-module}.

研究の動機と目的

• カメラの動き、速度変化、多様なアクティビティによる、動画における複雑で変動する時系列ダイナミクスをモデル化する課題に対処すること。
• 多様な運動パターンに対応する高い柔軟性と、効率的な動画処理のための低計算コストを両立する時系列モジュールを設計すること。
• 個々の動画コンテンツに適応する動画固有の時系列カーネル学習を可能にし、固定または位置のみに依存する適応手法を凌駕する時系列モデリングを向上させること。
• 既存の 2D CNN アーキテクチャにスムーズに統合可能なモジュラで、即挿入可能なコンponent を開発すること。

提案手法

• TAM は時系列カーネルを二本のブランチに分解する：局所的ブランチは時系列畳み込みを用いて短時間の特徴強化のための位置に敏感な重要度マップを生成する。
• グローバルブランチは全結合層を用いて、長期間の時系列依存性モデリングのための位置不変で動画に適応する集約重みを生成する。
• 計算コストを低減するためにグローバルな空間プーリングを適用し、チャネル単位で処理することで効率性を維持する。
• 重要度マップと集約カーネルは要素ごとの乗算と畳み込みを経て組み合わされ、適応的かつ時系列に依存する特徴表現が生成される。
• TAM は 2D CNN に統合され、FLOP の増加が最小限の TANET と呼ばれる、即挿入可能な動画認識アーキテクチャが構築される。
• 本手法はエンドツーエンドで学習可能であり、ネットワーク内の複数の位置（例：畳み込みブロックの前後）に挿入可能である。

実験結果

リサーチクエスチョン

• RQ1 固定カーネルまたは位置のみに依存する適応カーネルと比較して、動画固有の時系列カーネルはアクション認識性能を向上させるか？
• RQ2 局所的重要度とグローバル集約の二段階適応スキームは、短期的および長期的時系列ダイナミクスをどれほど効果的に捉えるか？
• RQ3 Kinetics-400 や Something-Something V1/V2 のような多様な運動パターンを含むデータセットにおいて、TAM はどの程度性能を向上させるか？
• RQ4 提案されたモジュールは、最先端の結果を達成しつつ、低計算コストを維持するか？

主な発見

• TAM は Kinetics-400 において、標準的な時系列プーリング、3D 畳み込み、TSM、TEINet、Non-local ブロックを上回り、2D CNN と同等の FLOPs で新たな最先端精度を達成した。
• 動きが支配的な Something-Something V1 および V2 データセットにおいて、TANET は最先端の性能を達成し、複雑な運動パターンへの強力な一般化能力を示した。
• 学習されたカーネルの可視化により、異なる動画やアクティビティ間で分布の形状や中央値に顕著な多様性が確認され、モジュールが動画固有のカーネルを生成できる能力を裏付けた。
• 局所ブランチの重要度マップは、動画ごとに異なる注目度を示しており、局所的運動コンテンツに敏感であることが示された。一方、グローバル集約カーネルは適応的に長距離依存性を捉えている。
• TAM のカーネル分布は、Kinetics-400（外観に焦点を当てた）と Something-Something（動きに焦点を当てた）で顕著に異なり、I3D の固定カーネルとは異なり、ドメインに適応した適応性を示した。
• TAM の設計により、FLOP の増加が最小限に抑えられ、実世界の動画認識システムへの効率的で実用的な展開が可能であることが確認された。