[論文レビュー] UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training

Mingyang Zhou, Luowei Zhou+5 more|arXiv (Cornell University)|Apr 1, 2021

Multimodal Machine Learning Applications参考文献 49被引用数 7

ひとこと要約

UC2は、視覚的特徴と多言語キャプションを統一的に整列させるために画像を共有のピボットとして用いる、画期的な機械翻訳拡張型フレームワークを提案する。マスクされた領域からトークンへのモデリングと視覚翻訳言語モデリングの2つの新規事前学習タスクを導入することで、多言語画像・テキスト検索およびVQAベンチマークで最先端の性能を達成するとともに、英語の性能を維持している。

ABSTRACT

Vision-and-language pre-training has achieved impressive success in learning multimodal representations between vision and language. To generalize this success to non-English languages, we introduce UC2, the first machine translation-augmented framework for cross-lingual cross-modal representation learning. To tackle the scarcity problem of multilingual captions for image datasets, we first augment existing English-only datasets with other languages via machine translation (MT). Then we extend the standard Masked Language Modeling and Image-Text Matching training objectives to multilingual setting, where alignment between different languages is captured through shared visual context (i.e, using image as pivot). To facilitate the learning of a joint embedding space of images and all languages of interest, we further propose two novel pre-training tasks, namely Masked Region-to-Token Modeling (MRTM) and Visual Translation Language Modeling (VTLM), leveraging MT-enhanced translated data. Evaluation on multilingual image-text retrieval and multilingual visual question answering benchmarks demonstrates that our proposed framework achieves new state-of-the-art on diverse non-English benchmarks while maintaining comparable performance to monolingual pre-trained models on English tasks.

研究の動機と目的

• 機械翻訳を用いて英語のみのデータセットを拡張することで、多言語画像キャプションデータセットの不足を補う。
• 主に英語を対象としている既存のビジョンアンドランゲージモデルの言語的バイアスを克服し、複数の言語における統合表現学習を可能にする。
• 画像を共有のピボットとして用いることで、視覚と多様な言語を統一的に整列させる統合的事前学習フレームワークを構築し、単一言語モデルへの依存度を低減する。
• 多言語マルチモーダル理解に特化した新規事前学習目的を通じて、クロスリンガルおよびクロスマodal整列を向上させる。
• 言語固有の微調整を必要とせず、非英語ベンチマークで強力なゼロショットまたはフェイントショットの転移性能を達成する。

提案手法

• 神経機械翻訳（MT）を用いて、既存の英語のみの画像キャプションデータセットに多言語キャプションを追加し、大規模な多言語学習コーパスを構築する。
• 共通の画像をピボットとして用いることで、標準的な事前学習タスク（マスクド言語モデリングと画像・テキストマッチング）を多言語環境に拡張し、クロスリンガル整列を実現する。
• マスクド領域からトークンへのモデリング（MRTM）を提案し、オブジェクト検出器の予測（領域ラベル）と単語トークンを共有の埋め込み空間で整列させることで、局所的なクロスマodal整列を強化する。
• 視覚翻訳言語モデリング（VTLM）を導入し、対応する画像と並列翻訳キャプションを活用することで、クロスリンガルおよびクロスマodal表現を統合的に学習する。
• 画像とすべての言語バージョンを同時に注目できるクロスリンガルクロスマodalトランスフォーマーを訓練し、統合埋め込み空間の学習を可能にする。
• 二段階の事前学習戦略を採用：まず多言語画像・キャプションペアで事前学習を行い、次に言語固有のデータを用いて下流タスクで微調整する。

実験結果

リサーチクエスチョン

• RQ1 機械翻訳を用いて既存の英語のみの画像キャプションデータセットを拡張することで、多言語ビジョンアンドランゲージモデルの学習が可能になるか？
• RQ2 英語ではなく画像をピボットとするアプローチが、ビジョンアンドランゲージタスクにおけるクロスリンガル転移性能を向上させるか？
• RQ3 MRTM や VTLM のような新規事前学習目的が、言語トークン、画像領域、多言語的意味の間の細分化された整列を向上させるか？
• RQ4 提案されたUC2フレームワークは、英語ベンチマークでは単一言語モデル、非英語タスクでは多言語ベースラインと比較してどのように差をつけるか？
• RQ5 リソースが限られた言語において、リtrievalおよび視覚的質問応答タスクへの一般化性能はどの程度達成されるか？

主な発見

• UC2は、Flickr30KおよびMSCOCOベンチマークで4言語（英語、ドイツ語、フランス語、チェコ語）における多言語画像・テキスト検索で最先端の性能を達成し、メタ平均正解率は85.3%を記録した。
• VQA v2.0ベンチマークでは71.48%のテストデブ正解率を達成し、先行手法を上回り、強力なゼロショットクロスリンガル転移性能を示した。
• アブレーションスタディの結果、MRTMを削除するとVQAで0.55ポイントの性能低下が生じ、細分化された視覚的言語整列におけるその重要性が裏付けられた。
• VTLMはリtrieval性能に顕著な寄与を示し、MRTMと組み合わせることでメタ平均正解率が0.9ポイント向上した。
• 画像ピボット方式は、英語ピボット方式よりも平均1.1ポイント高い性能を示し、特にリソースが限られた言語で顕著な恩恵をもたらした。
• 可視化により、異なる言語（例：英語、ドイツ語、チェコ語）における意味的に同等の語が同じ画像領域に注目していることが確認され、クロスリンガル整列の有効性が裏付けられた。