[論文レビュー] CLIP2TV: Align, Match and Distill for Video-Text Retrieval

Zijian Gao, Jingyu Liu+4 more|arXiv (Cornell University)|Nov 10, 2021

Multimodal Machine Learning Applications被引用数 15

ひとこと要約

CLIP2TVは、エンド・ツー・エンドに統合的に最適化されたCLIPベースのフレームワークを提案する。このフレームワークは、ビデオとテキストのアライメントとマッチングモジュールを同時に最適化し、データノイズ（特に曖昧な記述）の影響を軽減するための類似度 distillation を用いることで、MSR-VTT、DiDeMo、ActivityNetの各データセットで最先端または競争力のある性能を達成する。

ABSTRACT

Modern video-text retrieval frameworks basically consist of three parts: video encoder, text encoder and the similarity head. With the success on both visual and textual representation learning, transformer based encoders and fusion methods have also been adopted in the field of video-text retrieval. In this report, we present CLIP2TV, aiming at exploring where the critical elements lie in transformer based methods. To achieve this, We first revisit some recent works on multi-modal learning, then introduce some techniques into video-text retrieval, finally evaluate them through extensive experiments in different configurations. Notably, CLIP2TV achieves 52.9@R1 on MSR-VTT dataset, outperforming the previous SOTA result by 4.1%.

研究の動機と目的

• ビデオとテキストのアライメントとマッチングモジュールを協調的かつエンド・ツー・エンドに同時に学習させることで、ビデオ・テキスト検索の性能を向上させること。
• 対照的学習に悪影響を及ける、特に曖昧な記述、タイポ、誤記述を含むビデオ・テキストデータセット内のデータノイズを解決すること。
• モダリティ内（テキスト同士、ビデオ同士）および統合モダリティの類似度から得られるソフトラベルを用いて、ビデオ・テキストマッチングモジュールのロバスト性を向上させる類似度 distillation 機構を構築すること。
• 効率的な推論を維持しつつ、標準的なビデオ・テキスト検索ベンチマークで最先端または競争力のある性能を達成すること。

提案手法

• CLIP2TVは2つの主要なモジュールで構成される：ビデオとテキストの埋め込みを共通空間に投影するビデオ・テキストアライメント（vta）モジュールと、ポジティブペアとネガティブペアを区別する能力を学ぶビデオ・テキストマッチング（vtm）モジュール。
• vta と vtm モジュールはエンド・ツー・エンドで訓練され、vtm モジュールからの勾配が vta モジュールが学習したアライメントを改善する。これにより、相互に性能が向上する。
• データノイズの影響を軽減するために類似度 distillation が導入される。vtm モジュールの教師として、モダリティ内（テキスト同士、ビデオ同士）および統合モダリティの類似度から得られるソフトラベルが用いられる。
• 類似度 distillation の3つのバリエーション（相互モダリティ、モダリティ内、統合モダリティ類似度）が評価され、統合バージョンが最も高い性能向上を示した。
• 最終モデルは、ヴァニラ vtm とソフト vtm の出力の重み付き組み合わせを採用しており、ハイパーパramータ β をデータセットごとに最適化して性能をバランスさせる。
• このフレームワークは推論においても効率的であり、共通埋め込み空間における最近傍探索に依存するため、既存のCLIPベースのモデルと直交的かつ容易に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 ビデオ・テキストアライメントとマッチングモジュールのエンド・ツー・エンド訓練により、検索性能が統合的に向上するか？
• RQ2 特に曖昧な記述が、ビデオ・テキストマッチングヘッドの学習安定性と性能にどのような影響を及えるか？
• RQ3 モダリティ内および相互モダリティの類似度を用いた類似度 distillation は、ノイズの多いデータに対してマッチングモジュールのロバスト性を向上させ得るか？
• RQ4 複数の類似度空間からのソフトラベルの組み合わせは、MSR-VTT や DiDeMo のようなノイズの多いベンチマークでより良い一般化をもたらすか？

主な発見

• MSR-VTT 1kA では、CLIP2TV は R@1 が 45.6、R@5 が 71.1、R@10 が 80.8 を達成し、CLIP4Clip ベースラインを上回った。
• 類似度 distillation を適用した CLIP2TV+SD では、MSR-VTT 1kA で R@1 が 46.1 に向上し、曖昧でタイポの多いクエリに対してもロバストであることが示された。
• DiDeMo では、CLIP2TV+SD が R@1 45.5、R@5 69.7 を達成し、ヴァニラ vtm や CLIP4Clip より顕著な向上を示した。
• ActivityNet では、CLIP2TV+SD が R@50 98.4 を達成し、長尾や複雑なクエリに対しても優れた性能を示した。
• 統合類似度 distillation のバリエーションが最良の性能を示し、MSR-VTT 1kA では R@10 82.9 を記録し、モダリティ内および相互モダリティのバリエーションを上回った。
• 可視化結果から、CLIP2TV+SD はノイズの多いクエリに対しよりロバストであることが確認され、曖昧またはタイポの多い記述に対してもより正確な結果を検索できた。