[論文レビュー] Clover: Towards A Unified Video-Language Alignment and Fusion Model

Jingjia Huang, Yinan Li+4 more|arXiv (Cornell University)|Jul 16, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

Cloverは、動画、テキスト、統合マルチモーダル表現の間の相関をとく新しい三モードアライメント（TMA）目的を用いて、クロスモーダルの整合性と統合を向上させる統合型ビデオ・言語事前学習モデルを提案する。意味的マスキングとペアワイズランク付け損失を組み込むことで、効率を損なわず、複数のリtrievalおよびビデオ質問応答（VQA）タスクで最先端の性能を達成し、タスク固有のモデルや単純なモデルの組み合わせを上回る。

ABSTRACT

Building a universal Video-Language model for solving various video understanding tasks (\emph{e.g.}, text-video retrieval, video question answering) is an open challenge to the machine learning field. Towards this goal, most recent works build the model by stacking uni-modal and cross-modal feature encoders and train it with pair-wise contrastive pre-text tasks. Though offering attractive generality, the resulted models have to compromise between efficiency and performance. They mostly adopt different architectures to deal with different downstream tasks. We find this is because the pair-wise training cannot well \emph{align} and \emph{fuse} features from different modalities. We then introduce extbf{Clover} extemdash a Correlated Video-Language pre-training method extemdash towards a universal Video-Language model for solving multiple video understanding tasks with neither performance nor efficiency compromise. It improves cross-modal feature alignment and fusion via a novel tri-modal alignment pre-training task. Additionally, we propose to enhance the tri-modal alignment via incorporating learning from semantic masked samples and a new pair-wise ranking loss. Clover establishes new state-of-the-arts on multiple downstream tasks, including three retrieval tasks for both zero-shot and fine-tuning settings, and eight video question answering tasks. Codes and pre-trained models will be released at \url{https://github.com/LeeYN-43/Clover}.

研究の動機と目的

• リtrievalとVQAタスクに別々のアーキテクチャを用いる既存の統合型ビデオ・言語モデルにおける非効率性と性能の妥協を是正すること。
• 新しい事前学習目的を通じて、ユニモーダルおよびマルチモーダルエンコーダーの出力を明示的に相関させることで、クロスモーダル特徴のアライメントと統合を向上させること。
• 大規模なリtrievalにおいて高い効率を維持しながら、下流のビデオ理解タスクで強力な性能を達成すること。
• 事前学習中に意味的マスキングとペアワイズランク付け損失を用いることで、モデルの汎化能力と識別能力を向上させること。

提案手法

• 三モードアライメント（TMA）を導入し、マルチモーダル表現を動画およびテキストのユニモーダル表現とアライメントさせることで、相互学習を促進する。
• 意味的マスキング戦略を採用し、重要な意味的コンテンツを保持するマスキングサンプルを生成することで、部分的入力に対するロバストネスを向上させる。
• ペアワイズランク付け損失を組み込み、マスキングされたサンプルと元のサンプルを区別させることで、モデルの意味的差異への感受性を高める。
• 標準的なマスク言語モデリング（MLM）をベースの目的として採用し、既存の事前学習フレームワークと互換性を持たせつつ、計算オーバーヘッドを最小限に抑える。
• TMAを既存のコントラスト型およびマスクモデリング目的と組み合わせ、アライメントと統合を同時に最適化する。
• 動画およびテキストの個別ユニモーダルエンコーダーと、統合のための共同マルチモーダルエンコーダーを備えた共有エンコーダー・アーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 統合型ビデオ・言語モデルは、アーキテクチャ上の妥協を避けて、リtrievalにおける高い効率性とVQAにおける高い性能を両立できるか？
• RQ2 ユニモーダルおよびマルチモーダルエンコーダーの出力を三モードアライメントを通じて明示的に相関させることで、クロスモーダルアライメントと統合が向上するか？
• RQ3 意味的マスキングとペアワイズランク付け損失は、動画・テキストペアにおける微細な意味的差異を捉える能力を向上させられるか？
• RQ4 標準的なコントラスト型またはマスク言語モデリング事前学習と比較して、提案された三モードアライメントは下流タスクのパフォーマンスにどのように寄与するか？

主な発見

• Cloverは、ゼロショットおよび微調整設定の両方において、三つのテキスト・ビデオリtrievalベンチマークで新たな最先端の結果を確立した。
• 八つのビデオ質問応答ベンチマークにおいて、Cloverはタスク固有のモデルおよび単純なモデルの組み合わせ（COMB）を一貫して上回った。
• TMAを備えたモデルは、ベースラインと比較して、ポジティブな動画・テキストペアのコサイン類似度が高く、ポジティブとネガティブペアのマージンも大きくなった。
• 意味的マスキングとペアワイズランク付け損失の導入により、特に多様なキャプションを含む複雑なデータセット（DiDemo）において顕著なパフォーマンス向上が見られた。
• 定性的な結果では、Cloverがより正確な記述や回答を生成しており、たとえば曖昧な用語ではなく「ペーパー・プレーン」や「ライオン」を正しく特定している。
• アブレーションスタディの結果、TMA単体でも標準的なコントラスト型事前学習を上回る性能が得られ、全モジュールを備えたCloverモデルが最良の結果を達成した。