[論文レビュー] SimVTP: Simple Video Text Pre-training with Masked Autoencoders

Yue Ma, Tianyu Yang+2 more|arXiv (Cornell University)|Dec 7, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

SimVTPは、統一されたTransformerエンコーダーを用いて、マスクされた動画チューブとテキストトークンを同時に再構築する、シンプルでありながら効果的なビデオ・テキスト事前学習フレームワークを提案する。マスク化された動画チューブとテキストトークンの再構築を統一されたエンコーダーで行い、90%（動画）および75%（テキスト）という高いマスク率を実現。データ効率性も高く、WebVid-2Mデータの10%のみを用いてもMSRVTTで43.8% R@1というSOTA性能を達成。対照的学習とマッチング損失の併用によりさらなる性能向上を実現。

ABSTRACT

This paper presents SimVTP: a Simple Video-Text Pretraining framework via masked autoencoders. We randomly mask out the spatial-temporal tubes of input video and the word tokens of input text and then feed them into a unified autencoder to reconstruct the missing pixels and words. Our SimVTP has several properties: 1) Thanks to the unified autoencoder, SimVTP reconstructs the masked signal of one modality with the help from another modality, which implicitly learns the cross-modal alignment between video tubes and text tokens. 2) SimVTP not only benefits from a high video masking ratio (e.g. 90%) due to the temporal redundancy of video, but also needs a high text masking ratio (e.g. 75%), which is much higher than BERT (e.g. 15%), to achieve optimal performance. This is because the aid of video modality makes text reconstruction less challenging, which thus needs a higher mask ratio to make the pretext harder for useful feature learning. 3) Equipping SimVTP with video-text contrastive learning (VTC) and video-text matching (VTM), which are two commonly used cross-modal training strategies, could further improve the transferable performance significantly. 4) SimVTP is dataefficent, e.g., pre-training only on 10% data of WebVid-2M, SimVTP achieves surprisingly good results (43.8 R@1) on MSRVTT, which is far above recent state-of-the-art methods pre-trained on both CC3M and WebVid-2M. We transfer our pre-trained model to various downstream tasks and achieve superior performance. The codes and models will be released at https://github.com/mayuelala/SimVTP.

研究の動機と目的

• オブジェクト検出器や領域学習機構といった複雑なコンponentsを避ける、シンプルで統一的なビデオ・テキスト事前学習フレームワークの開発。
• マスク化自己符号化における高いマスク率（動画で最大90%、テキストで75%）が、ビデオ・テキスト学習に与える有効性の調査。
• マスク化されたビデオ・テキストペアが、対照的学習（VTC）およびマッチング（VTM）のための有効なデータ拡張として機能するかの評価。
• WebVid-2Mの10%のデータのみを用いてもSOTA性能を達成することによるデータ効率性の実証。
• エンコーダー初期化の多様な方法が、マルチモodal事前学習性能に与える影響の調査。

提案手法

• 統一されたTransformerエンコーダーが、動画チューブとテキストトークンの両方を処理し、マスクされた入力を通じてクロスマodal再構築を可能にする。
• 動画チューブはMAE風の戦略、テキストトークンはBERT風の戦略を用いてランダムにマスクし、最適な性能を得るための90%（動画）および75%（テキスト）のマスク率を設定。
• 両モダリティ間のクロスアテンションを用いて、欠損した動画ピクセルと語彙トークンを再構築することで、自動的にチューブ・トークンの対応関係を学習。
• マスクされた入力上に、ビデオ・テキスト対照的学習（VTC）とビデオ・テキストマッチング（VTM）を統合し、転移性能のさらなる向上を図る。
• 事前学習には、VideoMAEのImageNet-1KまたはKinetics-400の重みを初期化として使用し、BERTや教師ありImageNet-21Kの重みよりも優れた性能を達成。
• GPUメモリと計算コストの削減のため、VTCは全トークンのうち10%に当たる可視トークン（マスクされていないもの）にのみ適用。

実験結果

リサーチクエスチョン

• RQ1 統一されたマスク化自己符号化フレームワークは、マスクされた動画チューブとテキストトークンを同時に再構築することで、有効なクロスマodal表現を学習できるか？
• RQ2 非常に高いマスク率（動画で90%、テキストで75%）を用いることで、高い難易度にもかかわらず特徴学習が向上するか？
• RQ3 マスク化されたビデオ・テキストペアは、対照的学習（VTC）およびマッチング（VTM）のための有効なデータ拡張として機能するか？
• RQ4 既存の手法がより大きなデータセットで事前学習しているのと比較して、SimVTPはどの程度のデータ効率性を達成しているか？
• RQ5 マスク化自己符号化の設定において、エンコーダー初期化の違いがビデオ・テキスト事前学習性能に与える影響はいかほどか？

主な発見

• SimVTPは、WebVid-2Mの10%（24万件）のデータのみを用いても、MSRVTTで43.8% R@1を達成。これは、より大きなデータセット（CC3M や WebVid-2M）で事前学習された最近のSOTA手法を上回る性能。
• 90%（動画）および75%（テキスト）という高いマスク率を用いることで、SimVTPは最適な性能を達成。クロスマodal信号の支援のおかげで、高マスク率が特徴学習に有益であることが示された。
• マスク化されたビデオ・テキストペアにVTCとVTMを適用することで、性能が顕著に向上。特に、マスク化された入力にVTCを適用した場合、36.8% R@1を達成し、完全なデータで学習した手法を上回った。
• VideoMAEで事前学習された重み（Kinetics-400またはImageNet-1K）をエンコーダー初期化に用いることで、BERTや教師ありImageNet-21Kの重みよりも優れた結果が得られた。
• クロスアテンションの可視化により、名詞や動詞のトークンが関連する視覚的領域に注目していることが確認され、効果的なクロスマodalアライメントが実現していることが示された。
• モデルは元のテキスト記述よりも現実的で、しばしばより正確な記述を再構築しており、堅牢で意味のある表現学習が行われていることが示された。