[論文レビュー] Masked Contrastive Pre-Training for Efficient Video-Text Retrieval

Fangxun Shu, Biaolong Chen+7 more|arXiv (Cornell University)|Dec 2, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、映像とテキストの両方で空間的領域の高比率をマスキングすることで計算コストを低減し、対照的学習を用いてマルチモーダル表現を整列させる、効率的なエンドツーエンドの動画・言語事前学習フレームワークであるMasked Contrastive Pre-Training (MAC)を提案する。MACは、FLOPsを60%削減し、事前学習を3倍高速化しながら、動画・テキスト検索ベンチマークで最先端の性能を達成する。

ABSTRACT

We present a simple yet effective end-to-end Video-language Pre-training (VidLP) framework, Masked Contrastive Video-language Pretraining (MAC), for video-text retrieval tasks. Our MAC aims to reduce video representation's spatial and temporal redundancy in the VidLP model by a mask sampling mechanism to improve pre-training efficiency. Comparing conventional temporal sparse sampling, we propose to randomly mask a high ratio of spatial regions and only feed visible regions into the encoder as sparse spatial sampling. Similarly, we adopt the mask sampling technique for text inputs for consistency. Instead of blindly applying the mask-then-prediction paradigm from MAE, we propose a masked-then-alignment paradigm for efficient video-text alignment. The motivation is that video-text retrieval tasks rely on high-level alignment rather than low-level reconstruction, and multimodal alignment with masked modeling encourages the model to learn a robust and general multimodal representation from incomplete and unstable inputs. Coupling these designs enables efficient end-to-end pre-training: reduce FLOPs (60% off), accelerate pre-training (by 3x), and improve performance. Our MAC achieves state-of-the-art results on various video-text retrieval datasets, including MSR-VTT, DiDeMo, and ActivityNet. Our approach is omnivorous to input modalities. With minimal modifications, we achieve competitive results on image-text retrieval tasks.

研究の動機と目的

• フル解像度の動画フレームとテキストを処理することに起因するエンドツーエンドの動画・言語事前学習における高い計算コストを軽減すること。
• マルチモーダル表現の整合性を損なわせることなく、動画表現における空間的・時間的冗長性を低減すること。
• 従来のマスク・トゥ・予測の代わりに、検索タスクに特化したマスク・トゥ・アライメントのパラダイムに置き換えることで、事前学習の効率を向上させること。
• 対照的学習を用いて不完全でマスキングされた入力から、強固で一般化可能なマルチモーダル表現を学習すること。
• 最小限のアーキテクチャ変更と少ないデータ要件で、強力な動画・テキスト検索性能を達成すること。

提案手法

• MAE や BERT で用いられる標準的なマスク・トゥ・予測のアプローチに代わり、マスク・トゥ・アライメントのパラダイムを導入する。
• 映像フレームに対して60%の比率でランダムな空間的マスキングを適用し、テキストに対しては15%の比率でマスキングを行い、エンコーダーに可視領域のみを入力する。
• マスキング下での効率的な注意計算と改善された空間時間的モデリングを可能にするために、分割された空間時間自己注意機構を採用する。
• マスクされた映像とテキストのビューの間で対照的学習を実行し、共通の埋め込み空間に整列させることで、高レベルの意味的整合性を促進する。
• 両方のモダリティである映像とテキストに同時に二重マスキングを適用することで、整列の難易度を高め、表現のロバスト性を向上させる。
• 強力なデータ拡張やマルチスケール統合を必要とせず、シンプルでプラグアンドプレイな設計を採用し、画像・テキスト検索にも一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 映像とテキストの空間的・時間的領域を高比率でマスキングすることで、事前学習の効率が向上し、検索性能が低下しないか？
• RQ2 マスク・トゥ・アライメントの対照的学習アプローチが、マスク・トゥ・予測のアプローチを上回る性能を発揮するか？
• RQ3 映像とテキストの両方のモダリティに二重マスキングを適用することで、クロスモーダル整列と表現品質にどのような影響を与えるか？
• RQ4 マルチモーダル検索設定において、映像とテキストの最適なマスキング比は何か？ また、性能と計算量にどのように影響するか？
• RQ5 マスク対照的事前学習フレームワークは、FLOPsを削減し、学習を高速化しながらも、他のマルチモーダルタスクにおいても有効に機能するか？

主な発見

• MACは、標準的なエンドツーエンド手法と比較して、FLOPsを60%削減し、事前学習を3倍高速化する。
• MACは、より少ないデータと軽量なアーキテクチャで、MSR-VTTで38.9%のR@1を達成し、新記録を樹立する。
• 映像とテキストの両方に二重マスキングを適用することで、単一マスキングよりも優れた性能が得られ、MSR-VTTにおけるR@1は35.8%から36.4%に向上する。
• 分割された空間時間自己注意機構を用いたランダムマスキングは、チューブマスキングやマスキングなしの手法を上回り、MSR-VTTでR@1が36.4%、R@5が63.8%、R@10が73.0%を達成する。
• 本手法は画像・テキスト検索に対しても良好に一般化され、強力なデータ拡張やマルチスケール統合を必要とせず、競争力のある結果を達成する。
• より高い映像マスキング比（60%）と低いテキストマスキング比（15%）が最適であり、MAE や BERT の情報密度の原則と整合的である。