[論文レビュー] Generalizing Multimodal Pre-training into Multilingual via Language Acquisition

Liang Zhang, Anwen Hu+1 more|arXiv (Cornell University)|May 29, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文では、計算コストを最小限に抑え、拡張性を高めた軽量なフレームワークであるMultiLingual Acquisition (MLA) を提案する。CLIP などの単言語ビジョン・ランゲージ・プレトレーニング (VLP) モデルを、最小限の計算コストで多言語システムに一般化可能であり、元の言語での性能を損なわず、顕著に少ないデータとリソースで多言語画像・テキストおよび動画・テキスト検索で最先端の結果を達成する。

ABSTRACT

English-based Vision-Language Pre-training (VLP) has achieved great success in various downstream tasks. Some efforts have been taken to generalize this success to non-English languages through Multilingual Vision-Language Pre-training (M-VLP). However, due to the large number of languages, M-VLP models often require huge computing resources and cannot be flexibly extended to new languages. In this work, we propose a extbf{M}ulti extbf{L}ingual extbf{A}cquisition (MLA) framework that can easily generalize a monolingual Vision-Language Pre-training model into multilingual. Specifically, we design a lightweight language acquisition encoder based on state-of-the-art monolingual VLP models. We further propose a two-stage training strategy to optimize the language acquisition encoder, namely the Native Language Transfer stage and the Language Exposure stage. With much less multilingual training data and computing resources, our model achieves state-of-the-art performance on multilingual image-text and video-text retrieval benchmarks.

研究の動機と目的

• 既存の多言語ビジョン・ランゲージ・プレトレーニング (M-VLP) モデルが新言語を追加する際に、膨大なデータと再訓練を要するという高い計算コストと、低い拡張性を解決すること。
• ベースモデルの再訓練を伴わず、効率的で柔軟かつ性能劣化のない方法で、単言語VLPモデルを新言語に対応可能にすること。
• 見たことのない言語を含め、両方の言語で強い性能を維持するデータ効率の良い手法を開発すること、特にリソースが限られた環境下でも有効であること。
• 人間の言語習得を模倣し、まず新言語を母国語に一致させ、次にマルチモーダルデータにさらすことで、言語を学習すること。
• 分離された言語習得モジュールにより、元の言語での性能を損なわず、独立して言語を追加できることを実証すること。

提案手法

• 事前学習済みの単言語VLPモデル（例：CLIP）に、言語習得エンコーダー（言語習得モジュールと非母国語埋め込み）を軽量に挿入する。
• 元の単言語エンコーダーのパラメータを固定し、新言語用に言語習得モジュールと非母国語埋め込みのみを微調整する。
• 二段階の訓練戦略を実装する：(1) 母国語転送 (NLT) は、対照学習により新言語トークンを母国語に一致させる。 (2) 言語露出 (LE) は、新言語表現を視覚的特徴と一致させる。
• 両段階で画像・テキストの対照学習目的関数を用い、新言語におけるクロスモodalな整合性を最適化する。
• 完全なM-VLPモデルが要請する多言語データのわずか一部のみを用いて、言語習得モジュールを訓練することで、リソース要件を低減する。
• 言語固有のコンponentsを分離することで、モデル全体の再訓練なしに、独立して新言語を追加可能にする。

実験結果

リサーチクエスチョン

• RQ1 最小限の追加学習データと計算コストで、単言語VLPモデルを複数言語に効果的に一般化できるか？
• RQ2 人間の言語習得を模倣した二段階訓練戦略が、多言語性能を向上させるとともに、元の言語での性能を維持できるか？
• RQ3 提案されたフレームワークは、以前にサポートされていた言語での性能を劣化させることなく、新言語を追加できるか？
• RQ4 画像・テキストペアが限られた低リソース環境下で、モデルの性能はどの程度か？
• RQ5 特に多数の言語にスケーリングする際、既存のM-VLPアプローチに比べて、よりデータ効率的か？

主な発見

• MLA CLIP は、多言語画像・テキスト検索で最先端の性能を達成し、UC 2 や MURAL よりもはるかに少ない学習データと計算リソースで優れた性能を示した。
• XTDベンチマークでは、MLA CLIP は、未学習言語の微調整後も、母国語（例：英語で75.9％の平均AR）での性能を強く維持している。これに対してUC 2 は深刻な性能劣化を示した。
• 1言語あたり3万件の画像・テキストペアでの学習のみで、MLA CLIP は、1言語あたり300万ペアで事前学習されたUC 2 を上回った。これは、優れたデータ効率性を示している。
• 韓国語のテキスト・テキストペアがたった600件の低リソース環境下でも、MLA CLIP は78.7％の検索精度を達成し、画像・テキストペアを追加することでさらに向上（80.1％）した。
• アブレーションスタディにより、二段階の訓練戦略の両方が不可欠であることが確認された：NLT段階を除くと平均で10ポイント以上の性能低下が生じ、LE段階を除くとクロスモーダル整合性が著しく劣化した。
• 分離された言語習得モジュールにより、ベースモデルの再訓練なしに、新言語へのスムーズな拡張が可能となり、スケーラブルな多言語マルチモーダルシステムの実現が可能になった。