[論文レビュー] VLAB: Enhancing Video Language Pre-training by Feature Adapting and Blending

Xingjian He, Sihan Chen+8 more|arXiv (Cornell University)|May 22, 2023

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

VLAB は CLIP ベースの画像-テキスト表現を動画-言語前処理へ転移させ、特徴適応と特徴ブレンディングを用いて、生成タスクと対比タスクの双方に対応する統一モデルを実現し、いくつかのベンチマークで最先端の結果を達成します。

ABSTRACT

Large-scale image-text contrastive pre-training models, such as CLIP, have been demonstrated to effectively learn high-quality multimodal representations. However, there is limited research on learning video-text representations for general video multimodal tasks based on these powerful features. Towards this goal, we propose a novel video-text pre-training method dubbed VLAB: Video Language pre-training by feature Adapting and Blending, which transfers CLIP representations to video pre-training tasks and develops unified video multimodal models for a wide range of video-text tasks. Specifically, VLAB is founded on two key strategies: feature adapting and feature blending. In the former, we introduce a new video adapter module to address CLIP's deficiency in modeling temporal information and extend the model's capability to encompass both contrastive and generative tasks. In the latter, we propose an end-to-end training method that further enhances the model's performance by exploiting the complementarity of image and video features. We validate the effectiveness and versatility of VLAB through extensive experiments on highly competitive video multimodal tasks, including video text retrieval, video captioning, and video question answering. Remarkably, VLAB outperforms competing methods significantly and sets new records in video question answering on MSRVTT, MSVD, and TGIF datasets. It achieves an accuracy of 49.6, 61.0, and 79.0, respectively. Codes and models will be released.

研究の動機と目的

• CLIP のような画像-テキストモデルを統一的な動画-言語前処理学習にどう活用するかを調査する。
• 時間的ダイナミクスを捉え、生成タスクを可能にする動画アダプターを開発する。
• 単一モデル内で画像特徴と動画特徴を融合する特徴ブレンディング機構を提案する。
• 動画キャプション、VQA、テキスト-動画取得ベンチマークで VLAB の有効性を示す。

提案手法

• CLIP のビジュアルエンコーダ内に動画アダプターを導入して時間情報をモデル化し、生成タスクを可能にする。
• 2 段階で訓練する：adaptive transferring（アダプターを除く CLIP を凍結）と integrated tuning（全パラメータを学習可能）。
• 画像と動画の特徴を多模態エンコーダで融合するための2つの特徴ブレンディング戦略（stack と parallel）を開発する。
• 対照学習と生成タスクの両方を支えるために、Joint loss L = L_vtc + L_mlm + L_uni-lm で最適化する。

実験結果

リサーチクエスチョン

• RQ1 CLIP 表現を効果的に動画-言語前処理へ転送して、タスクを跨ぐ統一モデルを形成できるか？
• RQ2 以前の CLIP の知識を忘れずに、画像-テキストモデルへ時間的ダイナミクスをどう統合できるか？
• RQ3 動画-言語タスクのために、画像由来特徴と動画由来特徴を最適に結合するブレンディング戦略はどれか？
• RQ4 特徴適応とブレンディングは動画キャプション、VQA、取得ベンチマークで改善をもたらすか？

主な発見

• パラメータ数 1.6B の VLAB は video question answering で 49.6 (MSR-VTT), 61.0 (MSVD), 79.0 (TGIF) を達成し、GiT2 や Flamingo などの従来手法を上回る。
• VLAB-L (0.9B) はより大規模なモデル/データを用いた最先端手法を上回り、VLAB-G は MSRVTT、MSVD、TGIF で新記録を達成。
• 動画アダプターは性能を向上させ、Webvid10M データでスケールする。特に大規模データセットで訓練した場合に顕著。
• 2つのクロスアテンションブレンディング戦略（parallel と stack）は、画像と動画の特徴を効果的に融合し、クロスアテンション重みを共有することでメモリ効率が高く有効。
• adaptive transferring + integrated tuning は、動画アダプターにおいて単 一段階訓練より良い結果を生む。