[論文レビュー] XLDA: Cross-Lingual Data Augmentation for Natural Language Inference and Question Answering

Jasdeep Singh, Bryan McCann+3 more|arXiv (Cornell University)|May 27, 2019

Topic Modeling参考文献 31被引用数 61

ひとこと要約

XLDAはトレーニング中に入力の一部を別の言語への翻訳で置き換え、複数の言語に跨るクロスリンガルNLIとQAの性能を向上させる。

ABSTRACT

While natural language processing systems often focus on a single language, multilingual transfer learning has the potential to improve performance, especially for low-resource languages. We introduce XLDA, cross-lingual data augmentation, a method that replaces a segment of the input text with its translation in another language. XLDA enhances performance of all 14 tested languages of the cross-lingual natural language inference (XNLI) benchmark. With improvements of up to $4.8\%$, training with XLDA achieves state-of-the-art performance for Greek, Turkish, and Urdu. XLDA is in contrast to, and performs markedly better than, a more naive approach that aggregates examples in various languages in a way that each example is solely in one language. On the SQuAD question answering task, we see that XLDA provides a $1.0\%$ performance increase on the English evaluation set. Comprehensive experiments suggest that most languages are effective as cross-lingual augmentors, that XLDA is robust to a wide range of translation quality, and that XLDA is even more effective for randomly initialized models than for pretrained models.

研究の動機と目的

• 低リソース言語の性能向上のための多言語転移学習を動機づける。
• 翻訳されたセグメントを用いてクロスリンガルな学習信号を作成する、単純なデータ拡張手法を提案する。
• XLDAの多言語・複数タスクにわたる有効性を示す（XNLIとSQuAD）。
• 翻訳品質に対する頑健性と、事前学習済みモデルおよびランダム初期化モデルの適用性を示す。

提案手法

• XLDAを、データセットDにおける入力xまたはyの一部を言語jへの翻訳で置き換えるとして定義し、D'とクロス言語トレーニングセットD_XLDAを作成する。
• モノリンガル、分離された多言語(DMT)、およびXLDAトレーニング設定を比較する。
• Devlin ら (2018) の標準ハイパーパラメータを用いて、XNLIとSQuADに対するBERT-MLとLSTMベースラインでXLDAを評価する。
• 複数の機械翻訳システムの翻訳を用いて、14言語のXNLIとSQuADの学習翻訳（英語の文脈・質問を複数言語に翻訳）に対するクロス言語拡張器を構成する。
• 複数の拡張器を貪欲に選択して、単一の拡張器よりも性能向上を最大化する。
• 事前学習済みモデルとランダム初期化モデルの両方でXLDAの有効性を示すアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 学習中に入力の一部が別の言語に翻訳される場合、XLDAは自然言語理解を改善するか？
• RQ2 クロスリンガル拡張はXNLIの全言語およびSQuADで性能を向上させるか？
• RQ3 XLDAは翻訳品質のばらつきに頑健で、事前学習済みおよび非事前学習モデルの両方で効果的か？
• RQ4 XLDAは分離された多言語トレーニング(DMT)設定およびバック翻訳アプローチとどう比較されるか？
• RQ5 複数の拡張器と貪欲選択の利用が性能に与える影響は何か？

主な発見

• XLDAはXNLIにおいてモノリンガル学習よりもすべての対象言語で性能を向上させ、最大で絶対4.8%の改善を達成する。
• XLDAはXNLIのGreek, Turkish, and Urduで最先端結果を、同時期の事前学習なしで達成する（Lample & Conneau 2019）。
• SQuADでは、訓練データが英語以外の追加言語へ翻訳されると、English評価セットでEMが1.0%改善される。
• ほとんどの言語が効果的なクロスリンガル拡張器として機能するが、Urduはしばしば弱い拡張器であり、Hindiは他のターゲットに対して強い利益をもたらすことがある。
• Greedy XLDA、複数の拡張器を組み合わせる方法は、単一の最良拡張器および標準のモノリンガルベースラインを一貫して改善し、ケースによっては約4.9%の利益をもたらす。
• XLDAは事前学習済み（BERT ML）およびランダム初期化モデルの両方に有益であり、LSTMベースラインを用いても上回ることがある。