[論文レビュー] FitCLIP: Refining Large-Scale Pretrained Image-Text Models for Zero-Shot Video Understanding Tasks

Santiago Castro, Fabian Caba Heilbron|arXiv (Cornell University)|Mar 24, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

FitCLIPは、CLIPのような大規模な事前学習済み画像・テキストモデルをゼロショット動画理解タスクに適応させるための、蒸留に基づくファインチューニング戦略を提案する。ラベル付きおよび疑似ラベル付きの動画データで訓練された学生ネットワークを、教師（CLIP）と重み空間アンサンブルによって統合することで、FitCLIPは複数のベンチマークでゼロショットアクション認識およびテキスト対動画検索において最先端の性能を達成し、追加の推論コストなしにCLIPの性能を上回る。

ABSTRACT

Large-scale pretrained image-text models have shown incredible zero-shot performance in a handful of tasks, including video ones such as action recognition and text-to-video retrieval. However, these models have not been adapted to video, mainly because they do not account for the time dimension but also because video frames are different from the typical images (e.g., containing motion blur, and less sharpness). In this paper, we present a fine-tuning strategy to refine these large-scale pretrained image-text models for zero-shot video understanding tasks. We show that by carefully adapting these models we obtain considerable improvements on two zero-shot Action Recognition tasks and three zero-shot Text-to-video Retrieval tasks. The code is available at https://github.com/bryant1410/fitclip

研究の動機と目的

• 画像と動画データの間のドメインギャップが、CLIPのような大規模な画像・テキストモデルの動画タスクにおけるゼロショット性能を制限するという問題に取り組む。
• 元のモデルの頑健性を損なわず、推論コストを増加させないファインチューニング戦略を開発する。
• 知識蒸留と重み空間アンサンブルが、事前学習済み画像・テキストモデルに動画固有の知識を効果的に転送するかを検証する。
• 多様な動画データセットを用いて、ゼロショットアクション認識およびテキスト対動画検索のための新規ベンチマークを確立する。
• 疑似ラベル付きの動画データでファインチューニングすることで、ゼロショット能力が著しく向上し、モデルの一般化能力が保持されることを示す。

提案手法

• FitCLIPは、小規模なラベル付き動画データセットと大規模な疑似ラベル付き動画データを組み合わせて訓練された学生ネットワークを用い、動画固有の表現を学習する。
• この手法は、事前学習済みのCLIP教師モデルから学生モデルへの知識蒸留を実行し、動画入力の視覚的およびテキスト的特徴を一致させる。
• 主なイノベーションは、学生モデルと教師モデルの重みを統合して最終モデルを構築する重み空間アンサンブルの使用である。これにより、一般画像知識と動画固有の適応が組み合わされる。
• 学生モデルは真のラベルと教師モデルのログチットを同時に予測するように訓練され、動画固有の特徴（例：動きぼけ、解像度の低下）に適応しながら知識転送が可能になる。
• このアプローチは、主に2つのタスクに適用される：ゼロショットアクション認識とゼロショットテキスト対動画検索。複数のベンチマークデータセットが使用される。
• 最終モデルは、推論時に重みのアンサンブルを直接使用するため、追加の推論コストが発生しない。

実験結果

リサーチクエスチョン

• RQ1 蒸留に基づくファインチューニングは、CLIPのような画像・テキストモデルの動画理解タスクにおけるゼロショット性能を向上させることができるか？
• RQ2 重み空間アンサンブルは、教師モデルの頑健性を保持しつつ、学生ネットワークから得られる動画固有の知識を組み込むのに有効か？
• RQ3 FitCLIPの性能は、CLIPや他の最先端モデルと比較して、ゼロショットアクション認識およびテキスト対動画検索ベンチマークでどの程度優れているか？
• RQ4 大規模な動画データに対して疑似ラベル付けを施すことで、下流の動画タスクへのゼロショット転送性能がどの程度向上するか？
• RQ5 異なる動画データ分布（例：エゴセントリック、編集なし、インstructinal動画）で訓練した場合、最終的なゼロショット性能にどのような影響を与えるか？

主な発見

• FitCLIPは、ゼロショットテキスト対動画検索で新規の最先端性能を達成し、DiDeMoではCLIPを3.8%、MSR-VTTでは4.7%、MiTでは1.9%上回った。
• ゼロショットアクション認識において、FitCLIPはUCF101でCLIPの正確性を74.5%から73.3%に、MiTでは19.9%から21.8%に向上させた。
• 学生モデルによる性能向上は、すべてのデータセットで一貫しており、教師モデルを上回る改善幅は0.9%から4.7%の範囲にわたり、変動が少なかった。
• 重み空間アンサンブルステップは極めて重要であり、学生モデルが異なるデータで訓練された場合でも、教師モデルの性能を維持または向上させた。
• ゼロショット手法であるにもかかわらず、FitCLIPは一部のベンチマーク（例：YouCook2におけるCAMoE）で複数の教師ありモデルを上回ったが、最良の教師あり手法にはまだ劣っていた。
• 本手法は、蒸留を用いて大規模な疑似ラベル付き動画データでファインチューニングすることで、画像から動画へのドメインギャップを効果的に埋めることが可能であり、推論コストを増加させないことを示した。