[論文レビュー] XGLUE: A New Benchmark Dataset for Cross-lingual Pre-training, Understanding and Generation

Yaobo Liang, Nan Duan+22 more|arXiv (Cornell University)|Apr 3, 2020

Natural Language Processing Techniques参考文献 24被引用数 67

ひとこと要約

XGLUEは、理解と生成を網羅する11のタスクからなるクロスリンガルベンチマークを導入し、UnicoderやXLM-Rのような強力なベースラインを19言語に渡って評価します。

ABSTRACT

In this paper, we introduce XGLUE, a new benchmark dataset that can be used to train large-scale cross-lingual pre-trained models using multilingual and bilingual corpora and evaluate their performance across a diverse set of cross-lingual tasks. Comparing to GLUE(Wang et al., 2019), which is labeled in English for natural language understanding tasks only, XGLUE has two main advantages: (1) it provides 11 diversified tasks that cover both natural language understanding and generation scenarios; (2) for each task, it provides labeled data in multiple languages. We extend a recent cross-lingual pre-trained model Unicoder(Huang et al., 2019) to cover both understanding and generation tasks, which is evaluated on XGLUE as a strong baseline. We also evaluate the base versions (12-layer) of Multilingual BERT, XLM and XLM-R for comparison.

研究の動機と目的

• 多言語および双言語コーパスを用いて、大規模なクロスリンガルモデルを訓練するための多言語ベンチマークを提供する。
• 理解と生成を含む多様なタスクに対するクロスリンガル転移能力を評価する。
• クロスリンガル事前学習モデル（Unicoder）を生成タスクまで拡張し、M-BERT、XLM、XLM-Rなどのベースラインと比較する。
• タスク設定（ピボット言語対多言語ファインチューニング）と事前学習データがクロスリンガル性能に与える影響を評価する。

提案手法

• 多言語コーパスおよび双言語コーパス上で、MLMとTLMを用いてクロスリンガル設定でUnicoderを事前学習する。
• 共有BPE埋め込みを用いたエンコーダ-デコーダアーキテクチャで、生成タスクへUnicoderを拡張する。
• 生成のための事前学習目的として、xDAE（multilingual denoising auto-encoding）とxFNP（multilingual future n-gram prediction）を提案する。
• NER、POS、NC、MLQA、XNLI、PAWS-X、QADSM、WPR、QAM、QG、NTGの11タスクを用いてクロスリンガル能力を評価する。
• 事前学習済みモデルを英語ラベルのみでファインチューニングし、複数言語のテストセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 多言語/双言語データで訓練されたクロスリンガル事前学習モデルは、多言語にわたる多様なタスクへ一般化できるか？
• RQ2 生成タスクへの事前学習の拡張は、クロスリンガルの生成と理解の性能を向上させるか？
• RQ3 ピボット言語対多言語ファインチューニングがクロスリンガル転移に与える影響は何か？
• RQ4 事前学習データ量と言語カバー率が、理解と生成の両タスクにおけるクロスリンガル転移に与える影響はどうか？
• RQ5 生成特化の事前学習目的（xDAE、xFNP）は、生成タスクにおける純粋な理解目的の事前学習ベースラインを上回るか？

主な発見

• Unicoder LCは、9つの理解タスクでM-BERTおよびXLM-Rベースよりわずかに優れている。
• Unicoder LCは、より大きな事前学習コーパスとTLMの使用によりUnicoder SCを上回る。
• Unicoder xDAEとUnicoder xFNPは、2つの生成タスクでM-BERTおよびXLM-Rベースを大幅に上回る。
• Unicoder xFNPは生成タスクでxDAEより若干良い傾向があるが、戦略の違いにより比較は必ずしも完全に公正ではない。
• 生成タスクへの事前学習拡張は、クロスリンガルテキスト生成能力にとって重要である。