[論文レビュー] CLIP2TV: An Empirical Study on Transformer-based Methods for Video-Text Retrieval

Zijian Gao, Jingyu Liu+4 more|arXiv (Cornell University)|Nov 10, 2021

Multimodal Machine Learning Applications参考文献 18被引用数 28

ひとこと要約

CLIP2TVは、改善された動画およびテキストエンコーダーと洗練された類似度ヘッドを用いてクロスモーダル整合性を向上させるトランスフォーマー基盤の動画-テキスト検索フレームワークを提案し、MSR-VTTで52.9@R1を達成し、以前のSOTAより4.1%の向上を達成した。

ABSTRACT

Modern video-text retrieval frameworks basically consist of three parts: video encoder, text encoder and the similarity head. With the success on both visual and textual representation learning, transformer based encoders and fusion methods have also been adopted in the field of video-text retrieval. In this report, we present CLIP2TV, aiming at exploring where the critical elements lie in transformer based methods. To achieve this, We first revisit some recent works on multi-modal learning, then introduce some techniques into video-text retrieval, finally evaluate them through extensive experiments in different configurations. Notably, CLIP2TV achieves 52.9@R1 on MSR-VTT dataset, outperforming the previous SOTA result by 4.1%.

研究の動機と目的

• トランスフォーマー基盤の動画-テキスト検索手法における重要な構成要因を調査すること。
• 最近のマルチモーダル学習技術が動画-テキスト検索にどのように適用できるかを評価すること。
• 洗練された動画およびテキストエンコーダーと類似度ヘッドの設計を通じて検索パフォーマンスを向上させること。
• MSR-VTTベンチマークにおいて新たなSOTA結果を確立すること。

提案手法

• マルチモーダル学習の最近の進展を再考し、動画-テキスト検索の設計選択を支援すること。
• 表現学習を向上させるために、動画およびテキストモダリティの両方でトランスフォーマー基盤のエンコーダーを採用すること。
• クロスモーダル整合性を向上させるために、洗練された統合および類似度ヘッドコンponentsを導入すること。
• 構成要因の寄与を検証するために、複数の設定で広範なアブレーションスタディを実施すること。
• 標準的な検索メトリクスを用いて、MSR-VTTデータセット上でモデルをエンドツーエンドで学習および評価すること。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤の動画-テキスト検索におけるパフォーマンス向上をもたらす主要な構成要因は何か？
• RQ2 最近のマルチモーダル学習技術は動画-テキスト検索にどのように適用可能か？
• RQ3 類似度ヘッドおよびエンコーダーのアーキテクチャを洗練させることで、どの程度の改善が達成できるか？
• RQ4 提案手法は、標準ベンチマークにおいて既存のSOTA手法と比較してどのように異なるか？

主な発見

• CLIP2TVはMSR-VTTデータセットで52.9@R1を達成し、新たなSOTAを樹立した。
• 以前のSOTAより4.1%の向上を達成したことで、提案手法の有効性が裏付けられた。
• アブレーションスタディにより、洗練されたエンコーダーおよび類似度ヘッドコンponentsの重要性が確認された。
• 異なる実験的設定において一貫した改善が見られた。