[論文レビュー] X-CLIP: End-to-End Multi-grained Contrastive Learning for Video-Text Retrieval

Yiwei Ma, Guohai Xu+4 more|arXiv (Cornell University)|Jul 15, 2022

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

X-CLIPは、粗粒度と微粒度の表現の間でクロスグレインの対照を導入することで、不要なフレームや単語を除外するエンドツーエンドのマルチグレイン対照学習フレームワークを提案する。類似度集約にAttention Over Similarity Matrix（AOSM）モジュールを用いることで、MSR-VTT や LSMDC を含む5つのベンチマークでSOTA性能を達成し、R@1が+6.3%〜+11.1%向上した。

ABSTRACT

Video-text retrieval has been a crucial and fundamental task in multi-modal research. The development of video-text retrieval has been considerably promoted by large-scale multi-modal contrastive pre-training, which primarily focuses on coarse-grained or fine-grained contrast. However, cross-grained contrast, which is the contrast between coarse-grained representations and fine-grained representations, has rarely been explored in prior research. Compared with fine-grained or coarse-grained contrasts, cross-grained contrast calculate the correlation between coarse-grained features and each fine-grained feature, and is able to filter out the unnecessary fine-grained features guided by the coarse-grained feature during similarity calculation, thus improving the accuracy of retrieval. To this end, this paper presents a novel multi-grained contrastive model, namely X-CLIP, for video-text retrieval. However, another challenge lies in the similarity aggregation problem, which aims to aggregate fine-grained and cross-grained similarity matrices to instance-level similarity. To address this challenge, we propose the Attention Over Similarity Matrix (AOSM) module to make the model focus on the contrast between essential frames and words, thus lowering the impact of unnecessary frames and words on retrieval results. With multi-grained contrast and the proposed AOSM module, X-CLIP achieves outstanding performance on five widely-used video-text retrieval datasets, including MSR-VTT (49.3 R@1), MSVD (50.4 R@1), LSMDC (26.1 R@1), DiDeMo (47.8 R@1) and ActivityNet (46.2 R@1). It outperforms the previous state-of-theart by +6.3%, +6.6%, +11.1%, +6.7%, +3.8% relative improvements on these benchmarks, demonstrating the superiority of multi-grained contrast and AOSM.

研究の動機と目的

• 既存のビデオ・テキスト検索モデルが粗粒度または微粒度の対照に限定され、不要なフレームや単語を効果的に除外できないという限界に対処すること。
• 粗粒度のビデオ／文の特徴量と個々の微粒度のフレーム／単語特徴量を比較するクロスグレイン対照を検討することで、不要な要素を抑圧することで検索精度を向上させること。
• 複数の類似度行列（微粒度、粗粒度、クロスグレイン）を1つのインスタンスレベルの類似度スコアに統合する類似度集約問題を解決すること。
• ノイズや不要な要素を低減しつつ、重要なフレーム・単語および文・ビデオの相互作用に注目する学習可能メカニズムを設計すること。

提案手法

• X-CLIPは、時間的エンコーダーを備えた二重ストリームトランスフォーマー・アーキテクチャを用いて、ビデオとテキストを粗粒度（ビデオ／文レベル）および微粒度（フレーム／単語レベル）の両方の表現に変換する。
• 微粒度（フレーム・単語）、粗粒度（ビデオ・文）、クロスグレイン（ビデオ・単語および文・フレーム）の3種類の対照学習を実行することで、多段階の意味的整合性を捉える。
• Attention Over Similarity Matrix（AOSM）モジュールは、異なるグレインレベルからの類似度行列を学習的に注目し、関連のあるフレーム・単語および文・ビデオのペアを動的に強調する。
• AOSM内の温度制御付きソフトマックスは、高い類似度スコアと低い類似度スコアの影響をバランスさせ、ノイズが優位になるのを防ぎ、重要な信号が無視されないようにする。
• 視覚的・言語的・クロスグレイン表現の共同最適化を実現するため、3つの対照信号すべてにコントラスト損失を用いてエンドツーエンドで訓練する。
• ビデオストリーム内の時間的エンコーダーは、フレーム間の順序的依存関係をモデル化し、複数フレームにわたるコンテキストを必要とする動作を理解する能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 粗粒度と微粒度の表現の間でクロスグレイン対照を適用することで、不要なフレームや単語を除外し、ビデオ・テキスト検索性能が向上するか？
• RQ2 異なるグレインレベルからの複数の類似度行列を、1つの堅牢なインスタンスレベルの類似度スコアに効果的に統合する方法は何か？
• RQ3 提案されたAOSMモジュールは、Mean-Maxのような従来の集約戦略を上回り、ノイズや不要な特徴の影響を低減するか？
• RQ4 マルチグレイン対照学習は、多様なビデオ・テキストベンチマークで検索性能をどの程度向上させるか？

主な発見

• X-CLIPは、MSR-VTTでR@1が49.3、MSVDで50.4、LSMDCで26.1、DiDeMoで47.8、ActivityNetで46.2を記録し、5つのビデオ・テキスト検索ベンチマークでSOTA性能を達成した。
• 前回SOTAの手法と比較して、MSR-VTTで+6.3%、MSVDで+6.6%、LSMDCで+11.1%、DiDeMoで+6.7%、ActivityNetで+3.8%のR@1向上を達成した。
• アブレーションスタディの結果、時間的エンコーダーの導入により性能が顕著に向上し、MSR-VTTでは+1.0%〜+1.2%のR@1向上が確認された。
• AOSMにおける最適な温度パラメータτ = 0.01が最良の性能を示し、τ = 0.1およびτ = 1.0と比較して0.9%〜1.2%の向上を示した。
• 定性的な結果から、X-CLIPは意味的に類似しているが異なるビデオや文を効果的に区別でき、特に複雑または曖昧なケースで優れた性能を示した。
• AOSMモジュールは、Mean-Maxのようなベースライン集約戦略を常に上回り、関連のあるフレーム・単語および文・ビデオペアに注目する有効性を示した。