[論文レビュー] Cross-View Language Modeling: Towards Unified Cross-Lingual Cross-Modal Pre-training

Yan Zeng, Wangchunshu Zhou+3 more|arXiv (Cornell University)|Jun 1, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、共通のアーキテクチャと目的関数を用いて、翻訳的表現学習とマルチモodal表現学習を統合的に最適化する統一的事前学習フレームワーク、Cross-View Language Modeling (CCLM) を提案する。画像・キャプションペアと並列文ペアを、同じ潜在的概念の2つの視点として扱い、条件付きマスキング言語モデルと対照的学習を用いて相互情報量を最大化することで、IGLUEで10%以上の絶対的精度向上を達成し、ゼロショットの多言語的転移において初めて翻訳・テストベースラインを上回った。

ABSTRACT

In this paper, we introduce Cross-View Language Modeling, a simple and effective pre-training framework that unifies cross-lingual and cross-modal pre-training with shared architectures and objectives. Our approach is motivated by a key observation that cross-lingual and cross-modal pre-training share the same goal of aligning two different views of the same object into a common semantic space. To this end, the cross-view language modeling framework considers both multi-modal data (i.e., image-caption pairs) and multi-lingual data (i.e., parallel sentence pairs) as two different views of the same object, and trains the model to align the two views by maximizing the mutual information between them with conditional masked language modeling and contrastive learning. We pre-train CCLM, a Cross-lingual Cross-modal Language Model, with the cross-view language modeling framework. Empirical results on IGLUE, a multi-lingual multi-modal benchmark, and two multi-lingual image-text retrieval datasets show that while conceptually simpler, CCLM significantly outperforms the prior state-of-the-art with an average absolute improvement of over 10%. Moreover, CCLM is the first multi-lingual multi-modal pre-trained model that surpasses the translate-test performance of representative English vision-language models by zero-shot cross-lingual transfer.

研究の動機と目的

• 既存の多言語的・マルチモーダルな事前学習モデルが単純な翻訳・テストベースラインに劣っているというギャップを解消すること。
• モデルアーキテクチャと学習目的を共有する1つのフレームワークで多言語的およびマルチモーダルな事前学習を統合すること。
• 豊富な並列文ペアと画像・キャプションペアを、同じ意味的コンテンツの2つの異なる視点として活用し、統合的表現アライメントを実現すること。
• 言語固有の微調整なしに優れたゼロショットの多言語的転移性能を達成すること。
• 大規模かつ多様な多言語的・マルチモーダルデータ上でスケーラビリティと有効性を示すこと。

提案手法

• CCLMは、マルチモーダルデータ（画像・キャプションペア）と多言語的データ（並列文ペア）を、同じ潜在的対象の2つの異なる視点として扱う。
• モデルは2つの視点からの表現を統合するための共通のクロスアテンションTransformerを用い、共通の意味的空間に統合する。
• 条件付きマスキング言語モデル、対照的学習、マッチング目的関数を統合した目的関数を用いて、視点間の相互情報量を最大化するように学習を行う。
• 多言語的およびマルチモーダルなタスクの両方で同じ共有アーキテクチャを用いることで、タスク固有のモジュールや別々のパrameter化の必要性を排除する。
• 事前学習はCC3Mを画像・テキストデータとして、WikiMatrixを並列文として用い、モデル重みは100億スケールの英語データで事前学習されたX2-VLMから初期化する。
• 統合目的関数は、M3P や UC2 で用いられた別々の目的関数よりも優れており、特に多言語的理解タスクで顕著な向上を示す。

実験結果

リサーチクエスチョン

• RQ1 共通のアーキテクチャと目的関数を用いて、統一的フレームワークが多言語的およびマルチモーダル表現を効果的にアライメントできるか？
• RQ2 並列文ペアを活用することで、単一言語のマスキングのみに比べ、多言語的・マルチモーダルな事前学習が著しく向上するか？
• RQ3 統一的モデルが、視覚言語タスクにおけるゼロショットの多言語的転移で翻訳・テストベースラインを上回れるか？
• RQ4 パラメータ数やスケーラビリティの観点から、共有アーキテクチャと統合目的関数は、タスク固有の設計に比べて性能とスケーラビリティに優れているか？
• RQ5 大規模な事前学習データと大きなモデルサイズは、このフレームワークにどの程度の恩恵をもたらすか？

主な発見

• CCLMは、先行SOTAモデルと比較してIGLUE（多言語的・マルチモーダルベンチマーク）で平均10%以上の絶対的精度向上を達成した。
• 画像・テキスト検索タスクにおいて、2つの多言語的データセットでR@1が10%以上向上し、優れたゼロショット転移能力を示した。
• CCLMは、視覚言語タスクにおけるゼロショットの多言語的転移で、初めて翻訳・テストベースラインを上回った多言語的・マルチモーダルモデルであり、分野における重要なマイルストーンである。
• アブレーションスタディにより、並列文ペアが性能向上に不可欠であり、統合的目的関数と共有アーキテクチャが別々の設計を著しく上回ることが確認された。
• モデルは強力なスケーラビリティを示し、より大きなデータで事前学習を実施したり、モデルサイズを拡大したりすることで性能向上が得られた。
• 可視化により、CCLMがベースラインモデルと比較して、多言語的およびマルチモーダル表現のアライメントをよりよく行っていることが確認された。