[논문 리뷰] XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization

Junjie Hu, Sebastian Ruder외 4명|arXiv (Cornell University)|2020. 03. 24.

Topic Modeling참고 문헌 59인용 수 299

한 줄 요약

XTREME은 40개 언어와 9개 과제를 포괄하는 광범위한 제로샷 다언어 벤치마크를 도입하여 다국어 표현과 전이 학습을 평가하며, 특히 구문 및 문장 검색 과제에서 상당한 다언어 간 격차를 드러낸다.

ABSTRACT

Much recent progress in applications of machine learning models to NLP has been driven by benchmarks that evaluate models across a wide variety of tasks. However, these broad-coverage benchmarks have been mostly limited to English, and despite an increasing interest in multilingual models, a benchmark that enables the comprehensive evaluation of such methods on a diverse range of languages and tasks is still missing. To this end, we introduce the Cross-lingual TRansfer Evaluation of Multilingual Encoders XTREME benchmark, a multi-task benchmark for evaluating the cross-lingual generalization capabilities of multilingual representations across 40 languages and 9 tasks. We demonstrate that while models tested on English reach human performance on many tasks, there is still a sizable gap in the performance of cross-lingually transferred models, particularly on syntactic and sentence retrieval tasks. There is also a wide spread of results across languages. We release the benchmark to encourage research on cross-lingual learning methods that transfer linguistic knowledge across a diverse and representative set of languages and tasks.

연구 동기 및 목표

• 영어 중심의 과제를 넘어서 포괄적인 다언어 평가 벤치마크의 필요성을 촉구한다.
• 다양하고 통사적으로 폭넓은 언어 및 과제 세트를 제공하여 다언어 간 전이 능력을 평가한다.
• 다국어 표현 학습을 발전시키기 위한 표준화된 평가 및 기준선의 제시를 촉진한다.
• 언어와 과제에 걸친 최첨단 다언어 모델의 한계를 분석한다.

제안 방법

• Cross-lingual Transfer Evaluation of Multilingual Encoders (xtreme) 벤치마크를 40개 언어와 9개 과제로 정의한다.
• 학습 데이터가 영어만인 제로샷 다언어 전이 설정을 채택하고 목표 언어에서 평가한다.
• 다양한 언어 수준에서 의미 전이를 검증하기 위해 분류, 구조화된 예측 및 QA에 걸친 과제를 구성한다.
• 모든 언어를 포괄하고 더 넓은 분석을 가능하게 하는 진단용 의사(번역된) 테스트 셋을 제공한다.
• 강력한 기준선(mBERT, XLM, XLM-R, MMTE)과 번역 기반 접근법을 평가하고 코드와 리더보드를 공개한다.
• 전이 역학을 이해하기 위해 성능과 사전학습 데이터 크기, 어족/언어 계통, 문자 체계 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 제로샷 설정에서 현재의 다언어 표현이 40개의 유형적으로 다양한 언어에 걸쳐 9개 과제로 얼마나 잘 전이되는가?
• RQ2 주요 다언어 간 전이 격차는 무엇이며 과제 및 어족이나 문자 체계에 따라 어떻게 달라지는가?
• RQ3 번역 기반 보강이나 현지어 훈련 데이터가 제로샷 전이에 비해 다언어 간 전이를 개선하는가?
• RQ4 모델 성능과 사전학습 데이터 크기 및 언어 특성(계통, 문자)에 어떤 상관관계가 있는가?
• RQ5 다양한 언어에서 최신 다언어 모델의 한계를 드러내는 진단 지표는 무엇인가?

주요 결과

• 제로샷 전이 모델은 영어에서 인간 성능에 근접하지만 다른 언어에서는 큰 하락을 보이며 특히 구문 및 문장 검색 과제에서 그렇다.
• XLM-R Large는 제로샷 전이에서 일반적으로 mBERT 및 다른 기준선보다 우수하며 XQuAD와 MLQA에서 주목할 만한 이득이 있지만 구조화된 예측 과제에서는 이득이 제한적이다.
• 번역 기반 기준선(translate-train, translate-test)은 상당한 이득을 제공하여 과제 전반에 걸친 다언어 간 전이 격차를 줄이는 경향이 있다.
• 현지어 훈련 데이터는 여러 과제에서 제로샷 전이보다 우수할 수 있지만, 영어 데이터가 풍부할 때 복잡한 QA 과제에서는 제로샷 방식도 여전히 경쟁력이 있다.
• 다언어 간 전이는 많은 언어에서 사전 학습 데이터 크기와 상관관계가 있으며, 인도유럽어족에서 더 강한 영향을 보이고 한족-티베탄, 일본어계, 한국어계, 니제르-콩고 어족에서 영향은 약하다.
• 여전히 언어와 과제 간에 상당한 전이 격차가 남아 있어 다언어 간 전이 방법의 개선 여지가 있음을 시사한다.