[論文レビュー] Multilingual Multimodal Pre-training for Zero-Shot Cross-Lingual Transfer of Vision-Language Models

Po-Yao Huang, Mandela Patrick+4 more|arXiv (Cornell University)|Mar 16, 2021

Multimodal Machine Learning Applications参考文献 68被引用数 5

ひとこと要約

本稿では、多言語動画データセット Multi-HowTo100M を用いて、視覚言語モデルにおけるゼロショット多言語間転移を向上させるための多言語多モodal事前学習（MMP）戦略を提案する。変換器ベースのモデルを用いて多言語テキストと動画データを同時に事前学習することで、9か国語のゼロショット設定下で平均R@1に2–2.5の絶対的向上を達成し、多言語テキスト-動画検索およびテキスト-画像検索で最先端の性能を実現した。

ABSTRACT

This paper studies zero-shot cross-lingual transfer of vision-language models. Specifically, we focus on multilingual text-to-video search and propose a Transformer-based model that learns contextualized multilingual multimodal embeddings. Under a zero-shot setting, we empirically demonstrate that performance degrades significantly when we query the multilingual text-video model with non-English sentences. To address this problem, we introduce a multilingual multimodal pre-training strategy, and collect a new multilingual instructional video dataset (MultiHowTo100M) for pre-training. Experiments on VTT show that our method significantly improves video search in non-English languages without additional annotations. Furthermore, when multilingual annotations are available, our method outperforms recent baselines by a large margin in multilingual text-to-video search on VTT and VATEX; as well as in multilingual text-to-image search on Multi30K. Our model and Multi-HowTo100M is available at http://github.com/berniebear/Multi-HT100M.

研究の動機と目的

• 視覚言語モデルのゼロショット多言語間転移能力が限定的であることを是正すること、特に非英語言語でのクエリにおいて顕著な性能低下が生じることを是正すること。
• 英語データのみで事前学習されたモデルでは、非英語のテキスト-動画検索で性能が低下することを是正すること。
• 視覚データを普遍的なピボットとして活用し、多言語間表現を統一的に整列させるスケーラブルな多言語多モダリティ事前学習戦略を開発すること。
• 120万本のインstructonal動画を含む、9か国語の字幕を備えた大規模な多言語インstructonal動画データセット（Multi-HowTo100M）を構築すること。
• 言語間の視覚的・言語的整合性が、ドメイン特化の非英語アノテーションがなくても、ゼロショット多言語間転移の一般化性能を向上させることを示すこと。

提案手法

• ペアドテキストと動画入力を用いて文脈に即した多言語多モダリティ埋め込みを学習する変換器ベースの動画-テキストモデルを提案する。
• 複数の言語間で多言語テキストと視覚特徴の間のクロスアテンションを同時に最適化する多言語多モダリティ事前学習（MMP）目的関数を設計する。
• HowTo100Mデータセットに9か国語の字幕を追加することで、120万本のインstructonal動画を含むMulti-HowTo100Mデータセットを構築する。
• テキストと視覚表現を言語間で整合させるため、対照的学習の目的関数を用いて多言語動画-テキストデータ上でモデルを事前学習する。
• ゼロショット設定下で、ダウンストリームの多言語テキスト-動画およびテキスト-画像検索タスクにおいて、英語アノテーションのみを用いて微調整する。
• 2次元CNN特徴（画像用）と3次元CNN特徴（動画用）を統合するため、学習率を2倍にした線形プロキシヘッドを適用し、クロスモダリティ転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚言語モデルは、英語での性能は優れているものの、非英語言語でのクエリではなぜ顕著な性能低下を示すのか？
• RQ2 視覚データを共通の意味的ピボットとして活用することで、多言語テキスト-動画データで事前学習することで、ゼロショット多言語間転移が向上するのか？
• RQ3 英語データでのみ事前学習されたモデルと比較して、多言語多モダリティ事前学習が、多言語テキスト-動画およびテキスト-画像検索タスクの性能にどの程度向上効果をもたらすのか？
• RQ4 追加のアノテーションなしで、モダリティ（例：動画から画像）をまたいで転送する際、提案手法はどの程度効果的か？
• RQ5 ドメイン特化のアノテーションがなくても、チェコ語のような低リソース言語に一般化できるのか？また、多言語データを活用するベースラインと比較してどうか？

主な発見

• 提案された多言語多モダリティ事前学習（MMP）戦略により、VTTデータセットにおいて9か国語の平均R@1が2–2.5ポイントの絶対的向上を達成した。
• VATEXデータセットでは、多言語アノテーションを用いた多言語テキスト-動画検索において、最近のベースラインを大きく上回った。
• Multi30Kにおける多言語テキスト-画像検索では、MMPを適用したモデルが、MHA-D や SMALR などのベースラインを上回り、英語アノテーションのみを用いても最先端の性能を達成した。
• 動画モダリティから画像モダリティに転送する際、Multi30Kで平均R@1が3.2ポイント向上し、特にチェコ語のような低リソース言語で大きな向上を示した。
• チェコ語のアノテーションが一切ない状況でも、MMPを用いたゼロショットモデルは、チェコ語を含む10か国語を活用するSMALRと同等の性能を達成した。これは、強力なゼロショット一般化能力を示している。
• この手法により、英語クエリと非英語クエリの間の性能ギャップが顕著に縮小され、視覚データが多モダリティ表現における多言語間統合の普遍的ピボットとして機能することが示された。