[論文レビュー] Fine-tuned CLIP Models are Efficient Video Learners

Hanoona Rasheed, Muhammad Uzair Khattak+3 more|arXiv (Cornell University)|Dec 6, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

この論文では、パrametricモジュールを追加せずに、ゼロショット、フェイントショット、完全な教師ありの動画ベンチマークにおいて競争力のある性能を達成する、シンプルだが効果的なベースラインであるViFi-CLIPを提案する。この手法は、フレームレベルの特徴抽出とプーリングを通じて時間的ダイナミクスを暗黙的にモデル化し、一般化性能と効率性において、複雑なアーキテクチャを上回る。

ABSTRACT

Large-scale multi-modal training with image-text pairs imparts strong generalization to CLIP model. Since training on a similar scale for videos is infeasible, recent approaches focus on the effective transfer of image-based CLIP to the video domain. In this pursuit, new parametric modules are added to learn temporal information and inter-frame relationships which require meticulous design efforts. Furthermore, when the resulting models are learned on videos, they tend to overfit on the given task distribution and lack in generalization aspect. This begs the following question: How to effectively transfer image-level CLIP representations to videos? In this work, we show that a simple Video Fine-tuned CLIP (ViFi-CLIP) baseline is generally sufficient to bridge the domain gap from images to videos. Our qualitative analysis illustrates that the frame-level processing from CLIP image-encoder followed by feature pooling and similarity matching with corresponding text embeddings helps in implicitly modeling the temporal cues within ViFi-CLIP. Such fine-tuning helps the model to focus on scene dynamics, moving objects and inter-object relationships. For low-data regimes where full fine-tuning is not viable, we propose a `bridge and prompt' approach that first uses fine-tuning to bridge the domain gap and then learns prompts on language and vision side to adapt CLIP representations. We extensively evaluate this simple yet strong baseline on zero-shot, base-to-novel generalization, few-shot and fully supervised settings across five video benchmarks. Our code is available at https://github.com/muzairkhattak/ViFi-CLIP.

研究の動機と目的

• 画像ベースのCLIPモデルの単純なファインチューニングが、画像と動画の間のドメインギャップを埋めるのに十分かどうかを調査すること。
• 一般化性能を阻害する複雑でタスク特化型のモジュールに依存する従来の動画適応手法の限界を解決すること。
• 完全なファインチューニングが不可能な低データ環境における効率的な適応戦略を開発すること。
• ファインチューニングされたCLIPの一般化能力を、ゼロショット、フェイントショット、ベースクラスから新しいクラスへの一般化設定において評価すること。

提案手法

• Kinetics-400などの動画データセット上で、画像表現を動画に適応させるために、CLIPのビジョンエンコーダーとテキストエンコーダーの両方をファインチューニングするシンプルなベースラインであるViFi-CLIPを提案する。
• フレームレベルの特徴処理の後に時間的特徴プーリングを実施し、テキスト埋め込みとの対照的損失を用いて、フレーム間の関係性を暗黙的にモデル化する。
• 2段階の「ブリッジとプロンプト」手法を導入：まず、モダリティギャップを埋めるためにCLIPを動画データでファインチューニングし、次に、ビジョンと言語の両ブランチに可学習ベクトルを用いた視覚言語（VL）プロンプト学習を適用する。
• 両エンコーダーの深層部にプロンプトを適用することで、階層的表現を捉え、バックボーンのファインチューニングなしに適応を向上させる。
• ファインチューニング中に対照的学習の目的関数を用いて、動画とテキストの埋め込みを整合させる。これにより、時間的および意味的整合性が向上する。
• ゼロショット、フェイントショット、ベースクラスから新しいクラスへの一般化設定の5つの動画ベンチマークでこの手法を評価し、耐性と一般化能力を検証する。

Figure 1 : This work explores the capability of a simple baseline called ViFi-CLIP (Video Fintuned CLIP) for adapting image pretrained CLIP [ 33 ] to video domain. The figure compares the zero-shot performance of vanilla CLIP and several of its variants adapted for videos (trained on Kinetics-400, e

実験結果

リサーチクエスチョン

• RQ1 パラメトリックモジュールを追加せずに、CLIPのビジョンおよびテキストエンコーダーの単純なファインチューニングが、画像ベース表現を動画タスクに効果的に適応させられるか？
• RQ2 CLIPの完全なファインチューニングは、その一般化能力を低下させるのか、それとも多様な動画ベンチマークにおいて向上させるのか？
• RQ3 動画ファインチューニング済みのCLIPバックボーンと組み合わせた視覚言語プロンプト学習は、低データ環境でどの程度効果的か？
• RQ4 時間的モデリングに特化したコンponentsを備えた複雑なアーキテクチャと比較して、シンプルなベースラインが性能と効率性の面で上回れるか？

主な発見

• ViFi-CLIPはゼロショット設定でUCF-101およびHMDB-51でSOTAを達成し、それぞれ93.0%および95.0%の正確度を示し、XCLIPやActionCLIPを上回る。
• K=2のフェイントショット学習において、VLプロンプトはUCF-101で95.9%、HMDB-51で96.4%の正確度を達成し、XCLIPをそれぞれ2.5%および2%上回る。
• 「ブリッジとプロンプト」アプローチは、HMDB-51のベースクラスから新しいクラスへの一般化で77.1%の正確度を達成し、バニラCLIP（53.3%）を上回り、XCLIP（75.8%）と同等の性能を示す。
• VLプロンプトは287 GFLOPsのわずかな計算量で71.6のスループット（TP）を達成し、FLOPsと同等のXCLIP（58.5 TP）やActionCLIP（67.8 TP）を効率性面で上回る。
• t-SNE可視化では、ViFi-CLIPの埋め込みがバニラCLIPよりも分離性が高いため、より良い動画固有のインダクティブバイアスが学習されていることが示唆される。
• 本手法は、ベースクラスの性能を維持しながら、常に新しいクラスへの一般化を向上させ、さまざまな転移設定において堅牢であることが示された。

Figure 2 : Frequency plot of K400 [ 19 ] and SSv2 [ 14 ] .