[論文レビュー] VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding

Hu Xu, Gargi Ghosh+6 more|arXiv (Cornell University)|May 20, 2021

Multimodal Machine Learning Applications参考文献 34被引用数 6

ひとこと要約

本稿では、ビデオとテキスト入力を一括して処理する単一の BERT スタイルエンコーダーを用いた、タスクに依存しない動画・言語事前学習フレームワークである VLM を提案する。マスクされたモダリティモデリング（MMM）と統一されたマスクトークン損失を導入することで、クロスモダリティ統合を効果的に行いながらも、単モダリティの能力を維持できる。従来の手法と比べて大幅にパrameter数を削減しながらも、リtrieval およびキャプション生成タスクで最先端の性能を達成した。

ABSTRACT

We present a simplified, task-agnostic multi-modal pre-training approach that can accept either video or text input, or both for a variety of end tasks. Existing pre-training are task-specific by adopting either a single cross-modal encoder that requires both modalities, limiting their use for retrieval-style end tasks or more complex multitask learning with two unimodal encoders, limiting early cross-modal fusion. We instead introduce new pretraining masking schemes that better mix across modalities (e.g. by forcing masks for text to predict the closest video embeddings) while also maintaining separability (e.g. unimodal predictions are sometimes required, without using all the input). Experimental results show strong performance across a wider range of tasks than any previous methods, often outperforming task-specific pre-training. Code is made available at https://github.com/pytorch/fairseq/tree/main/examples/MMPT.

研究の動機と目的

• リtrieval やキャプションなど、多様な下流タスクをサポートできる、統一的かつタスクに依存しない動画・言語理解の事前学習フレームワークの開発。
• 従来の手法が単一のクロスモダリティエンコーダーに依存する（単モダリティ利用が制限される）か、複数の単モダリティエンコーダーを用いる（複雑なマルチタスク学習を要する）という限界を克服すること。
• 新しいマスキング方式を導入することで、事前学習段階でモダリティ間の依存関係を強制的に学習させつつ、単モダリティ入力の分離性を保つことにより、クロスモダリティ統合の効果的学習を実現すること。
• 単一で軽量なエンコーダーが、リtrieval およびキャプションベンチマークで、より大きなタスク特化型モデルを凌駃することを実証すること。

提案手法

• 訓練例の一部において、テキストまたはビデオのいずれかのモダリティを完全にマスキングするマスクされたモダリティモデル（MMM）を導入し、マスキングされたモダリティを残りのモダリティから再構築させる。
• ビデオとテキストの両方の埋め込みを統合してマスクされたトークンを予測する統一されたマスクトークン損失を採用し、ビデオとテキストのための別個の損失を置き換える。
• ビデオとテキストトークンを連結して処理する単一の BERT ベースのトランスフォーマーエンコーダーを用い、共有の潜在空間でエンドツーエンドの統合表現学習を実現する。
• 微調整段階でタスク固有のアテンションマスクを適用することで、同じ事前学習エンコーダーをリtrieval、キャプション生成、その他のタスクに適応可能にする。
• MFM-MLM と MMM の両方のマスキング戦略を交互に適用する大規模なビデオ・テキストペアデータセットを用いて事前学習を実施する。
• 両方のモダリティが存在しても単モダリティ予測が可能であるように設計することで、モデルの分離性を維持し、リtrieval や生成タスクとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 リtrieval やキャプションなど多様な下流タスクをサポートできる、タスクに依存しない形で統一的に事前学習可能な単一の動画・言語モデルを構築できるか？
• RQ2 複雑なマルチタスク目的を要せず、かつ単モダリティ能力を損なわず、事前学習段階でクロスモダリティ統合を効果的に学習できるか？
• RQ3 標準的なマスクフレームおよびマスク言語モデリングと比較して、モダリティ全体をマスキングする（MMM）ことで、統合表現学習が向上するか？
• RQ4 ビデオとテキストのための別個の損失と比較して、統一されたマスクトークン損失が、統合表現の学習において優れた性能を発揮するか？
• RQ5 より小さな統一型エンコーダーが、動画理解ベンチマークで、より大きなタスク特化型モデルを凌駃する性能を発揮できるか？

主な発見

• VLM は、より小さなモデルであるにもかかわらず、テキストベースのリtrieval（YouCook2 における R@1: 27.05）でタスク特化型の事前学習ベースラインを 2% 以上上回り、ビデオキャプション（CIDEr: 1.3869）でも 1% 上回った。
• アブレーションスタディの結果、MMM を削除（MFM-MLM のみに限定）した場合、R@1 は 15.12 に低下し、MMM が効果的なクロスモダリティ学習に不可欠であることが示された。
• 統一されたマスクトークン損失を適用することで、別個の MFM-MLM 損失に比べて性能が向上し、R@1 は 26.93 から 27.05 に上昇した。
• 長めのクリップ（最小16トークンのテキスト）に微調整しても高い性能を維持しているが、わずかに性能が低下する傾向にあり、事前学習段階で短いクリップを用いる方が効果的である可能性を示唆している。
• 可視化結果から、アテンションヘッドが意味のあるクロスモダリティアライメントを学習していることが確認された。例えば、「たれ」（soy）という語が、てんぷらを揚げる際の「しょうゆを注ぐ」映像フレームと関連づけられるなど、単語レベルの共参照関係が捉えられていた。
• 従来の手法と比較して、はるかに少ないパラメータ数で競争力のある結果を達成しており、パラメータ効率の向上と、複数モダリティ間での特徴共有の有効性を示している。