[論文レビュー] CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP

Libo Qin, Minheng Ni+2 more|arXiv (Cornell University)|Jun 11, 2020

Topic Modeling参考文献 18被引用数 11

ひとこと要約

本論文では、複数のターゲット言語からの翻訳をバイリンガル辞書を用いて動的に混合することで、マルチリンガルなコードスイッチド文を生成するデータ拡張フレームワーク CoSDA-ML を提案する。この手法は、19言語の文脈的表現を一度の訓練プロセスで統一的にアライニングするように mBERT をファインチューニングし、mBERT や XLM よりも顕著な性能向上を達成した。これは、英語の訓練データの1/10でさえも、5つのゼロショットクロスリンガル NLP タスクで顕著な性能向上を示した。

ABSTRACT

Multi-lingual contextualized embeddings, such as multilingual-BERT (mBERT), have shown success in a variety of zero-shot cross-lingual tasks. However, these models are limited by having inconsistent contextualized representations of subwords across different languages. Existing work addresses this issue by bilingual projection and fine-tuning technique. We propose a data augmentation framework to generate multi-lingual code-switching data to fine-tune mBERT, which encourages model to align representations from source and multiple target languages once by mixing their context information. Compared with the existing work, our method does not rely on bilingual sentences for training, and requires only one training process for multiple target languages. Experimental results on five tasks with 19 languages show that our method leads to significantly improved performances for all the tasks compared with mBERT.

研究の動機と目的

• mBERT のようなマルチリンガルモデルにおける、言語間で一貫性のない文脈的サブワード表現を解消すること。
• 並列訓練データや各ターゲット言語ごとの別々のモデルを必要とせずに、ゼロショットクロスリンガル転移性能を向上させること。
• 1回のファインチューニングプロセスで、ソース言語と複数のターゲット言語の表現を同時に統一的にアライニングすること。
• 多様な低リソース言語における mBERT のクロスリンガル一般化性能を向上させる、柔軟で動的なデータ拡張手法を開発すること。

提案手法

• 本手法は、英語の文をランダムに選択し、バイリンガル辞書を用いて複数のターゲット言語からの翻訳で選択されたトークンを置き換えることで、コードスイッチド文を構築する。
• 置換処理は各訓練バッチごとに動的に実行され、各エポックで異なる言語コンビネーションにおける多様なコードスイッチドデータを保証する。
• フレームワークはモノリンガル文とバイリンガル辞書のみを用い、データ生成に並列文ペアに依存しない。
• 拡張されたデータを用いて mBERT をファインチューニングし、モデルがソース言語と複数のターゲット言語の間で単語表現を暗黙的にアライニングするように促す。
• 本手法は mBERT に限らず、任意のベースエンコーダーモデルと互換性があり、BiLSTM の実験でも有効性が検証された。
• 共有サブワードトークン化と文脈的アテンションを活用し、言語間で共通の埋め込み空間に表現をアライニングする。

実験結果

リサーチクエスチョン

• RQ1 動的マルチリンガルコードスイッチングによるデータ拡張は、複数言語にわたるゼロショットクロスリンガル転移性能を向上させることができるか？
• RQ2 本手法は並列文を必要とせずに、mBERT よりも優れたクロスリンガル表現アライニングを達成できるか？
• RQ3 1回のファインチューニングプロセスで、ソース言語と複数のターゲット言語の表現を同時に効果的にアライニングできるか？
• RQ4 本データ拡張フレームワークは、mBERT を超えて、非事前学習エンコーダー（例：BiLSTM）に対しても有効であるか？

主な発見

• CoSDA-ML は、自然言語推論、センチメント分類、ドキュメント分類、自然言語理解、対話状態追跡の5つのゼロショットクロスリンガル NLP タスクにおいて、mBERT や XLM のベースラインを顕著に上回った。
• いくつかのタスクでは、英語の訓練データの1/10でさえも、最先端の結果を達成した。これは、高いデータ効率性を示している。
• CLS トークンのベクトルの可視化により、同じ意図を表す異なる言語の表現が CoSDA-ML ファインチューニング後、埋め込み空間でより近づき、重なっていることが確認された。これは、効果的なクロスリンガルアライニングを示している。
• 19言語すべてで一貫した性能向上が得られたことから、本手法のスケーラビリティとマルチリンガル環境における頑健性が裏付けられた。
• BiLSTM に適用した場合でも、すべての言語と指標でベースラインを上回った。これは、本手法がトランスフォーマーに基づくモデルに限らず有効であることを証明している。