[論文レビュー] UXLA: A Robust Unsupervised Data Augmentation Framework for Zero-Resource Cross-Lingual NLP

M Saiful Bari, Tasnim Mohiuddin+1 more|arXiv (Cornell University)|Apr 27, 2020

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

UXLAは、多言語マスクed言語モデルを用いた自己訓練と無教師サンプル選択を統合することで、ゼロリソースのクロスリンガル転移を向上させる画期的な教師なしデータ拡張フレームワークである。3つのタスク（XNER、XNLI、PAWS-X）において最先端の結果を達成し、構造的に異なる言語や低リソース言語（ウルドゥ語（+28.54％ F1）やビルマ語）において顕著な向上を示している。

ABSTRACT

Transfer learning has yielded state-of-the-art (SoTA) results in many supervised NLP tasks. However, annotated data for every target task in every target language is rare, especially for low-resource languages. We propose UXLA, a novel unsupervised data augmentation framework for zero-resource transfer learning scenarios. In particular, UXLA aims to solve cross-lingual adaptation problems from a source language task distribution to an unknown target language task distribution, assuming no training label in the target language. At its core, UXLA performs simultaneous self-training with data augmentation and unsupervised sample selection. To show its effectiveness, we conduct extensive experiments on three diverse zero-resource cross-lingual transfer tasks. UXLA achieves SoTA results in all the tasks, outperforming the baselines by a good margin. With an in-depth framework dissection, we demonstrate the cumulative contributions of different components to its success.

研究の動機と目的

• 低リソース言語や構造的に異なる言語において、ラベル付きデータが限られ、かつ元言語と対象言語の構造的類似性が欠如しているため、クロスリンガル転移性能が低いという課題に対処すること。
• 既存のNLP分野におけるデータ拡張手法の限界を克服すること。これらの手法はしばしばラベル付きデータや並列コーパスに依存しており、教師なし・ゼロリソース環境では機能しないこと。
• 対象言語にラベル付きデータを一切必要としない、強力で教師なしのフレームワークを構築し、多言語モデルの汎化性能を向上させること。
• 同時に自己訓練、仮想データ生成、信頼度に配慮した蒸留戦略を用いることで、効果的なクロスリンガル適応を実現すること。
• タスク固有のチューニングや対象言語のラベル付きデータを一切必要としない状況でも、多様なタスクと言語対においてフレームワークの有効性を実証すること。

提案手法

• 多言語マスクド言語モデルを用いて、元言語および対象言語の文を摂動させることで仮想トレーニングサンプルを生成し、各入力の周囲に近接分布を形成する。
• 2段階の共同蒸留プロセスを用いた同時多言語共同学習により、仮想ラベル付き対象データにおけるモデルの頑健性とラベル信頼性を向上させる。
• 仮想ラベルの過信を抑えるためにトレーニング中に信頼度ペナルティを適用し、特に低リソース環境での汎化性能を向上させる。
• 低品質な仮想ラベル付き例をフィルタリングするための無教師サンプル選択を実施し、トレーニングに使用する予測は常に高信頼度のものに限定する。
• 微調整を行わない前提学習済み多言語マスクドLM（例：XLM-R）を、仮想データ生成およびラベル予測の両方の基盤として活用する。
• データ拡張と自己訓練を統合したフレームワークを構築し、仮想データの生成と蒸留によるモデル予測の精練を交互に実行する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが対象言語に存在しないゼロリソース環境において、教師なしデータ拡張がクロスリンガル転移性能を向上させることができるか？
• RQ2 提案フレームワークは、既存のベースラインと比較して、低リソース言語および構造的に異なる言語においてどの程度の性能を示すか？
• RQ3 仮想データ生成、共同蒸留、信頼度正則化の組み合わせが、頑健性と性能向上にどの程度寄与するか？
• RQ4 タスク固有のチューニングや対象言語のラベル付きデータを一切必要としない状況でも、フレームワークは複数のタスクおよび言語対に一般化可能か？
• RQ5 対象言語への適応後も、元言語の性能が維持されるか。これは、深刻な忘却が発生していないことを示唆する。

主な発見

• UXLAは、テストされたすべてのゼロリソースクロスリンガルNER（XNER）タスクで最先端の性能を達成し、ベースラインと比較してウルドゥ語で+28.54％、ビルマ語で+16.05％、アラビア語で+9.25％のF1スコア向上を達成した。
• XNLIタスクでは、元言語に5％のラベル付きデータしか使用しないUXLAが、100％のラベル付きデータを使用するベースラインと同等の性能を達成した。
• PAWS-Xでは、5％のラベル付きデータを使用するUXLAが、全データベースラインと同等の性能を示し、優れたデータ効率性を示した。
• 信頼度ペナルティ部は、タスク全体で0.56％～1.89％の性能向上をもたらした。特に低リソース環境で最大の向上が観察された。
• フレームワークは高い頑健性を示した。1つの対象言語で微調整されたモデルは、元言語でも高い性能を維持し、他の言語に適応した際には性能が向上すらした。
• UXLAで訓練されたモデルのアンサンブルにより性能がさらなる向上を示し、この向上がアンサンブル効果に起因するのではなく、フレームワーク自体の設計に起因することを確認した。