[논문 리뷰] XGLUE: A New Benchmark Dataset for Cross-lingual Pre-training, Understanding and Generation

Yaobo Liang, Nan Duan외 22명|arXiv (Cornell University)|2020. 04. 03.

Natural Language Processing Techniques참고 문헌 24인용 수 67

한 줄 요약

XGLUE는 이해 및 생성에 걸친 11개 작업으로 구성된 교차 언어 벤치마크를 도입하고, Unicoder 및 XLM-R와 같은 강력한 Baseline을 19개 언어에 걸쳐 평가합니다.

ABSTRACT

In this paper, we introduce XGLUE, a new benchmark dataset that can be used to train large-scale cross-lingual pre-trained models using multilingual and bilingual corpora and evaluate their performance across a diverse set of cross-lingual tasks. Comparing to GLUE(Wang et al., 2019), which is labeled in English for natural language understanding tasks only, XGLUE has two main advantages: (1) it provides 11 diversified tasks that cover both natural language understanding and generation scenarios; (2) for each task, it provides labeled data in multiple languages. We extend a recent cross-lingual pre-trained model Unicoder(Huang et al., 2019) to cover both understanding and generation tasks, which is evaluated on XGLUE as a strong baseline. We also evaluate the base versions (12-layer) of Multilingual BERT, XLM and XLM-R for comparison.

연구 동기 및 목표

• 다국어 및 이중언어 코퍼스를 활용하여 대규모 교차 언어 모델을 훈련하기 위한 다국어 벤치마크를 제공한다.
• 다양한 이해 및 생성 작업을 포함한 교차 언어 전이 능력을 평가한다.
• 생성 작업을 다루기 위해 Unicoder를 확장하고 M-BERT, XLM 및 XLM-R와 같은 Baseline과 비교한다.
• 피봇 언어 대 다중 언어 파인튜닝이 교차 언어 성능에 미치는 영향을 평가한다.

제안 방법

• 다국어 및 이중언어 코퍼스를 사용한 MLM 및 TLM으로 교차 언어 설정에서 Unicoder를 사전 학습한다.
• 공유 BPE 임베딩을 가진 인코더-디코더 아키텍처로 생성 기능을 위해 Unicoder를 확장한다.
• 생성에 대한 사전 학습 목표로 xDAE(다국어 잡음 제거 자동 인코딩) 및 xFNP(다국어 미래 n-그램 예측)를 제안한다.
• NER, POS, NC, MLQA, XNLI, PAWS-X, QADSM, WPR, QAM, QG, NTG를 포함한 11개 작업을 사용하여 교차 언어 능력을 평가한다.
• 영어 레이블에 대해서만 사전 학습 모델을 미세 조정하고 다중 언어 테스트 세트에서 평가한다.

실험 결과

연구 질문

• RQ1 다국어/이중언어 데이터로 학습된 교차 언어 사전 학습 모델이 여러 언어의 다양한 작업으로 일반화할 수 있는가?
• RQ2 생성 작업으로의 사전 학습 확장이 교차 언어 생성 및 이해 성능을 향상시키는가?
• RQ3 피봇 언어 대 다중 언어 파인튜닝이 교차 언어 전이 성능에 미치는 영향은 무엇인가?
• RQ4 사전 학습 데이터 양과 언어 커버리지가 이해 및 생성 작업 모두에 대한 교차 언어 전이에 어떤 영향을 미치는가?
• RQ5 생성 전문 사전 학습 목표(xDAE, xFNP)가 생성 작업에서 순수한 이해 사전 학습 기반보다 우수한가?

주요 결과

• Unicoder LC는 9개 이해 작업에서 M-BERT 및 XLM-R base보다 약간 더 잘 수행한다.
• Unicoder LC는 더 큰 사전 학습 코퍼스와 TLM의 사용으로 Unicoder SC를 능가한다.
• Unicoder xDAE 및 Unicoder xFNP는 2개의 생성 작업에서 M-BERT 및 XLM-R base보다 크게 우수하다.
• Unicoder xFNP는 생성 작업에서 일반적으로 xDAE보다 약간 더 잘 수행하는 경향이 있지만, 다른 전략으로 인해 비교가 완벽하게 공정하지는 않다.
• 생성 작업으로의 사전 학습 확장은 교차 언어 텍스트 생성 능력에 중요하다.