[論文レビュー] EZ-CLIP: Efficient Zeroshot Video Action Recognition

Shahzad Ahmad, Sukalpa Chanda+1 more|arXiv (Cornell University)|Dec 13, 2023

Human Pose and Action Recognition被引用数 4

ひとこと要約

EZ-CLIP は、時間的視覚プロンプトとモーションに配慮した損失を用いて、計算効率の良い CLIP の動画アクション認識用適応を提案する。520万パラメータのみで、1つの GPU で学習されたにもかかわらず、CLIP の一般化能力を維持しつつ、最先端の性能を達成しており、複数のベンチマークで先行手法を上回っている。

ABSTRACT

Recent advancements in large-scale pre-training of visual-language models on paired image-text data have demonstrated impressive generalization capabilities for zero-shot tasks. Building on this success, efforts have been made to adapt these image-based visual-language models, such as CLIP, for videos extending their zero-shot capabilities to the video domain. While these adaptations have shown promising results, they come at a significant computational cost and struggle with effectively modeling the crucial temporal aspects inherent to the video domain. In this study, we present EZ-CLIP, a simple and efficient adaptation of CLIP that addresses these challenges. EZ-CLIP leverages temporal visual prompting for seamless temporal adaptation, requiring no fundamental alterations to the core CLIP architecture while preserving its remarkable generalization abilities. Moreover, we introduce a novel learning objective that guides the temporal visual prompts to focus on capturing motion, thereby enhancing its learning capabilities from video data. We conducted extensive experiments on five different benchmark datasets, thoroughly evaluating EZ-CLIP for zero-shot learning and base-to-novel video action recognition, and also demonstrating its potential for few-shot generalization.Impressively, with a mere 5.2 million learnable parameters (as opposed to the 71.1 million in the prior best model), EZ-CLIP can be efficiently trained on a single GPU, outperforming existing approaches in several evaluations.

研究の動機と目的

• 既存の CLIP 適応手法における高い計算コストと劣った時間的モデリングの問題に対処する。
• バックボーンを微調整せずに、画像ベースの視覚言語モデルを動画タスクに効果的に適応させるために、CLIP の強力なゼロショット一般化能力を維持する。
• バックボーンを微調整せずに、軽量でパラメータ効率の良い方法を提案し、画像ベースの視覚言語モデルを動画タスクに適応する。
• 時間的特徴を強化するための新しいモーション制約損失を提案する。
• 多様なデータセットで、ゼロショット、ベースからノベル、および少数ショットの動画アクション認識において、強力な性能を示す。

提案手法

• CLIP の入力空間に埋め込みを挿入する時間的視覚プロンプトを導入し、動画フレーム間の時間的依存関係をモデル化する。
• 推論時にフレームレベル特徴量を介してアテンションを適用することで、最小限のパラメータで時間的ダイナミクスのエンドツーエンド学習を可能にする。
• 時間的特徴を強調するため、フレーム間の特徴マップを比較することで、動画の動きに関連する領域に注目するようにモデルを促すモーション損失を提案する。
• 動画とテキストの埋め込み間の対照学習を用いるが、プロンプトが時間的アテンションをガイドする一方で、元の CLIP バックボーンは更新しない。
• 時間的視覚プロンプトとモーション損失のみを学習し、元の CLIP 視覚およびテキストエンコーダーを固定した状態でエンドツーエンド学習を行う。
• ゼロショット設定でのテキスト埋め込みの一般化を向上させるために、LLM が生成したアクション記述をテキストプロンプトとして活用する。

実験結果

リサーチクエスチョン

• RQ1 バックボーンを微調整せずに、最小限のパラメータで、CLIP の効率的でパラメータ効率の良い適応が、動画アクション認識で優れたゼロショット性能を達成できるか？
• RQ2 時間的視覚プロンプトは、最小限の可学習パラメータで、長距離の時間的依存関係をどれほど効果的にモデル化できるか？
• RQ3 標準的な対照学習と比較して、モーションに配慮した損失は、動画内の動きの特徴を捉える能力をどの程度向上させるか？
• RQ4 特に、Something-Something-v2 のような動きが豊富なデータセットにおいて、EZ-CLIP はベースからノベルのアクション認識においてどの程度一般化能力を示すか？
• RQ5 既存の CLIP を用いた動画適応手法を上回る性能を発揮しながらも、高いスループットと低 FLOPs を維持できるか？

主な発見

• EZ-CLIP は、520万パラメータのみで、UCF-101（トップ1で95.9％）、HMDB-51（トップ1で79.8％）、Something-Something-v2（トップ1で54.0％）で最先端のゼロショット精度を達成した。
• 挑戦的な SSv2 データセットでは、ベースからノベル評価で 54.0％ のトップ1精度を達成し、パラメータ数が少なく、スループットが高い点で、先行手法を大きく上回った。
• 1枚の A100 GPU で、1ビューあたり 322.4 のスループット（TP）を達成し、ViFi-CLIP（71.1 TP） や ActionCLIP（67.7 TP） よりも効率性に優れた。
• モーション損失により、動きに関連する領域への注目が向上した：可視化結果から、EZ-CLIP は動きのある物体に注目しているのに対し、ベースの CLIP モデルは背景や外観に注目している。
• LLM が生成したアクション記述により、テキスト埋め込みの一般化能力が向上し、ゼロショット設定で HMDB-51 で最大 2.5％、UCF-101 で最大 11％ の精度向上が見られた。
• t-SNE の可視化から、特に「何かを表面に置く」のような動きに依存するアクションにおいて、EZ-CLIP はベースモデルよりも特徴表現がより明確に分離されていることが確認された。