[論文レビュー] Temporal-attentive Covariance Pooling Networks for Video Recognition

Zilin Gao, Qilong Wang+3 more|arXiv (Cornell University)|Oct 27, 2021

Human Pose and Action Recognition被引用数 10

ひとこと要約

本論文は、時間的注意モジュールと時間的共分散プーリングを用いて空間時間的ダイナミクスをモデル化する新しいグローバルプール手法であるTemporal-attentive Covariance Pooling (TCP)を提案する。その後に行列のべき乗正規化を適用することで、動画認識の性能が著しく向上する。TCPは6つのベンチマークでグローバル平均プールや既存の共分散プール手法を大きく上回り、優れた表現学習能力と一般化性能を示している。

ABSTRACT

For video recognition task, a global representation summarizing the whole contents of the video snippets plays an important role for the final performance. However, existing video architectures usually generate it by using a simple, global average pooling (GAP) method, which has limited ability to capture complex dynamics of videos. For image recognition task, there exist evidences showing that covariance pooling has stronger representation ability than GAP. Unfortunately, such plain covariance pooling used in image recognition is an orderless representative, which cannot model spatio-temporal structure inherent in videos. Therefore, this paper proposes a Temporal-attentive Covariance Pooling(TCP), inserted at the end of deep architectures, to produce powerful video representations. Specifically, our TCP first develops a temporal attention module to adaptively calibrate spatio-temporal features for the succeeding covariance pooling, approximatively producing attentive covariance representations. Then, a temporal covariance pooling performs temporal pooling of the attentive covariance representations to characterize both intra-frame correlations and inter-frame cross-correlations of the calibrated features. As such, the proposed TCP can capture complex temporal dynamics. Finally, a fast matrix power normalization is introduced to exploit geometry of covariance representations. Note that our TCP is model-agnostic and can be flexibly integrated into any video architectures, resulting in TCPNet for effective video recognition. The extensive experiments on six benchmarks (e.g., Kinetics, Something-Something V1 and Charades) using various video architectures show our TCPNet is clearly superior to its counterparts, while having strong generalization ability. The source code is publicly available.

研究の動機と目的

• 動画認識における複雑な時間的ダイナミクスを捉えることができないグローバル平均プール（GAP）の限界を解消すること。
• 時間順序を無視し、動画固有の空間時間的構造をモデル化できない、シンプルな共分散プールの欠点を克服すること。
• アーキテクチャの大幅な見直しを必要とせず、深層動画アーキテクチャの性能を向上させる、モデルに依存しない効果的なグローバルプールメカニズムを開発すること。
• 2次統計量と共分散表現の幾何構造を活用して、動画表現学習を向上させること。
• 提案手法が多様な動画認識アーキテクチャとデータセットにおいて一般化され、優位性を示すことを実証すること。

提案手法

• 3つの連続フレーム間の関係をモデル化することで、空間時間的特徴を適応的に補正する時間的注意モジュールを導入する。
• 時間的に整合性のある方法で、フレーム内相関とフレーム間クロス相関を時間的共分散プールを用いて計算する。
• 共分散行列の幾何的構造を活用して表現学習を向上させる、高速な行列のべき乗正規化を統合する。
• TCPモジュールをプラグアンドプレイとして設計し、任意の既存の動画認識アーキテクチャに統合可能にする。
• 時間的注意と共分散プールのコンponentを統合し、注意を向けた幾何学的認識を持つ動画レベルの表現を生成する。
• 深層ネットワークの最終段階でグローバル平均プールの代替としてTCPモジュールを用い、TCPNetフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 共分散に基づくプール手法は、グローバル平均プールを上回る複雑な時間的ダイナミクスを効果的にモデル化できるか？
• RQ2 時間的注意を組み込むことで、動画認識における共分散表現の質はどのように向上するか？
• RQ3 共分散行列の幾何構造は、どのように動画表現学習の向上に寄与するか？
• RQ4 提案されたTCPモジュールは、異なる動画アーキテクチャとベンチマークに一般化可能か？
• RQ5 シンプルなグローバル共分散プールに行列のべき乗正規化を適用した強力なベースラインと比較して、提案手法TCPはどのように差をつけるか？

主な発見

• TCPNetは、Kinetics、Something-Something V1、Charadesを含む6つの動画認識ベンチマークで最先端の性能を達成した。
• K-400データセットにおいて、TSN+R152を用いた場合、TCPNetはGAPよりも2.2%、シンプルなグローバル共分散プールに行列のべき乗正規化を適用した強力なベースラインよりも1.1%高い精度を達成した。
• 時間的共分散プールの最適なカーネルサイズは、8フレーム入力では5、16フレーム入力では9であり、カーネルが大きくなるとノイズと計算量の増加により性能が低下した。
• 提案された時間的注意モジュール（TSA）は、非局所ブロックよりも0.5%高い精度を達成したが、FLOPsは16%（0.16 GFLOPs 対 0.7 GFLOPs）にとどまった。
• 時間的注意モジュールは、SEブロックよりも0.5%高い精度を達成し、時間的依存性をモデル化する有効性を裏付けた。
• TCPNetは、TLE やシンプルな共分散プールを含むすべてのベースラインを上回り、複雑な時間的ダイナミクスと特徴の幾何的構造を効果的に捉えられることを示した。