[論文レビュー] Cap4Video: What Can Auxiliary Captions Do for Text-Video Retrieval?

Wenhao Wu, Haipeng Luo+3 more|arXiv (Cornell University)|Dec 31, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

Cap4Videoは、CLIPとGPT-2を用いてゼロショットで生成された動画キャプションを活用する新しいフレームワークを提案する。入力データの拡張、中間の動画-キャプション特徴相互作用、出力スコアの融合を通じて、後処理なしで4つのベンチマーク（MSR-VTT: 51.4%、VATEX: 66.6%、MSVD: 51.8%、DiDeMo: 52.0%）で最先端の性能を達成する。

ABSTRACT

Most existing text-video retrieval methods focus on cross-modal matching between the visual content of videos and textual query sentences. However, in real-world scenarios, online videos are often accompanied by relevant text information such as titles, tags, and even subtitles, which can be utilized to match textual queries. This insight has motivated us to propose a novel approach to text-video retrieval, where we directly generate associated captions from videos using zero-shot video captioning with knowledge from web-scale pre-trained models (e.g., CLIP and GPT-2). Given the generated captions, a natural question arises: what benefits do they bring to text-video retrieval? To answer this, we introduce Cap4Video, a new framework that leverages captions in three ways: i) Input data: video-caption pairs can augment the training data. ii) Intermediate feature interaction: we perform cross-modal feature interaction between the video and caption to produce enhanced video representations. iii) Output score: the Query-Caption matching branch can complement the original Query-Video matching branch for text-video retrieval. We conduct comprehensive ablation studies to demonstrate the effectiveness of our approach. Without any post-processing, Cap4Video achieves state-of-the-art performance on four standard text-video retrieval benchmarks: MSR-VTT (51.4%), VATEX (66.6%), MSVD (51.8%), and DiDeMo (52.0%). The code is available at https://github.com/whwu95/Cap4Video .

研究の動機と目的

• 動画から生成された補助的キャプションがテキスト-動画検索性能を向上させるかどうかを調査すること。
• 事前学習モデル（CLIPとGPT-2）を用いたゼロショット動画キャプション生成が、補助的監視のソースとして果たす役割を調査すること。
• 複数の段階にわたり、生成されたキャプションを効果的に検索パイプラインに統合する包括的なフレームワークを設計すること。
• キャプションに基づく強化が、グローバルおよび細分化されたマッチングメカニズムの両方と互換性を持つことを示すこと。
• 後処理なしで、標準的なテキスト-動画検索ベンチマークで最先端の性能を達成すること。

提案手法

• CLIPとGPT-2に基づくゼロショット動画キャプション生成器を用い、微調整なしで動画フレームからキャプションを生成する。
• クエリ-動画ペアに加えて、動画-キャプションペアを追加の正例として扱うことで、学習データを拡張する。
• 動画とキャプションの表現間の途中段階でのクロスモodal特徴相互作用を導入し、動画特徴の精錬と冗長性の低減を図る。
• クエリ-動画およびクエリ-キャプションのマッチングスコアを計算する二重ストリームアーキテクチャを採用し、最終的な検索のためにそれらを統合する。
• 平均プーリングを用いてキャプション埋め込みを統合し、テキストクエリとのマッチング用のグローバルキャプション表現を形成する。
• クエリ-動画およびクエリ-キャプションのマッチングブランチからの出力スコアを統合することで、全体的な検索の頑健性と正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 動画からゼロショットで生成されたキャプションは、テキスト-動画検索性能を向上させることができるか？
• RQ2 中間の特徴相互作用に使用された場合、生成キャプションは動画表現学習にどのように寄与するか？
• RQ3 クエリ-キャプションマッチングを補助的なブランチとして組み込むことで、クエリ-動画マッチングを上回る検索性能が得られるか？
• RQ4 キャプションの統合は、さまざまな検索ベンチマークにおける性能にどのように影響を与えるか？
• RQ5 提案されたフレームワークは、テキスト-動画検索におけるグローバルおよび細分化されたマッチングメカニズムの両方を向上させることができるか？

主な発見

• Cap4Videoは、MSR-VTTで51.4%のR@1を達成し、先行手法を上回る最先端の性能を示した。
• VATEXでは66.6%のR@1を達成し、既存のアプローチと比べて顕著な向上を示した。
• MSVDでは51.8%のR@1、DiDeMoでは52.0%のR@1を達成し、多様なベンチマークで一貫した向上を示した。
• クエリ-キャプションマッチングブランチ単体でも30.3%のR@1を達成し、ClipBERT（22.0%）やMMT（26.6%）といった先行のクエリ-動画手法を上回った。
• クエリ-キャプションとクエリ-動画のマッチングスコアを統合することで、+0.8%の性能向上が確認され、両ブランチの補完的性質が裏付けられた。
• アブレーションスタディにより、データ拡張、特徴相互作用、スコア統合の3つの要素すべてが全体の性能向上に寄与しており、合計で+2.8%〜+3.6%の向上が確認された。