[논문 리뷰] XNLI: Evaluating Cross-lingual Sentence Representations

Alexis Conneau, Guillaume Lample외 5명|arXiv (Cornell University)|2018. 09. 13.

Topic Modeling참고 문헌 49인용 수 152

한 줄 요약

XNLI는 cross-lingual 문장 표현과 다국어 전이를 평가하기 위해 MultiNLI를 15개 언어로 확장하고, 번역 기반 baselines와 다국어 인코더 및 정렬 기반 방법을 비교한다.

ABSTRACT

State-of-the-art natural language processing systems rely on supervision in the form of annotated data to learn competent models. These models are generally trained on data in a single language (usually English), and cannot be directly used beyond that language. Since collecting data in every language is not realistic, there has been a growing interest in cross-lingual language understanding (XLU) and low-resource cross-language transfer. In this work, we construct an evaluation set for XLU by extending the development and test sets of the Multi-Genre Natural Language Inference Corpus (MultiNLI) to 15 languages, including low-resource languages such as Swahili and Urdu. We hope that our dataset, dubbed XNLI, will catalyze research in cross-lingual sentence understanding by providing an informative standard evaluation task. In addition, we provide several baselines for multilingual sentence understanding, including two based on machine translation systems, and two that use parallel data to train aligned multilingual bag-of-words and LSTM encoders. We find that XNLI represents a practical and challenging evaluation suite, and that directly translating the test data yields the best performance among available baselines.

연구 동기 및 목표

• 저자원 언어를 포함한 15개 언어에 걸친 대규모 교차 언어 자연어 추론(NLI) 벤치마크를 정의한다.
• NLI에서 교차 언어 전이를 위한 번역 기반 baselines와 다국어 문장 인코더를 평가한다.
• 영어 NLI 모델을 다른 언어로 전송하기 위한 정렬 기반 다국어 문장 임베딩을 제안하고 평가한다.

제안 방법

• 전제와 가설의 전문 번역을 통해 영어 NLI 데이터를 15개 언어로 확장한다.
• 번역 기반 baselines를 평가한다: train을 번역하고 test를 번역한다.
• 정렬 손실과 함께 x-cbow(CBOW), x-bilstm(BiLSTM) 등 다국어 문장 인코더를 평가한다.
• 영어와 대상 언어 임베딩을 평행 데이터를 사용하여 정렬하기 위한 정렬 손실 L_align를 제안한다.
• 다국어 인코더를 가진 영어로 학습된 분류기와 함께 baselines를 비교한다.
• 정렬을 훈련하기 위해 병렬 말뭉치(예: UN, Europarl, OpenSubtitles, IIT Bombay)를 사용한다.

실험 결과

연구 질문

• RQ1 15개 언어에 걸친 교차 언어 NLI에서 번역 기반 접근법은 얼마나 잘 작동하는가?
• RQ2 추론 시 번역 없이도 간단한 손실 전이를 통해 영어에서 다른 언어로 NLI를 전송하도록 정렬된 다국어 문장 인코더가 작동하는가?
• RQ3 정렬 손실과 음의 샘플링이 교차 언어 전이 성능에 미치는 영향은?
• RQ4 저자원 언어(Urdu, Swahili)는 번역 기반 대 정렬 기반 교차 언어 NLI에서 어떤 결과를 보이는가?
• RQ5 배포를 위한 번역 기반 baselines와 다국어 인코더 간의 실용적 트레이드오프는 무엇인가?

주요 결과

• 번역 테스트 baselines가Baseline 중에서 가장 우수한 교차 언어 성능을 보인다.
• XNLI 전이는 translate-train baselines와 경쟁력이 있지만 일반적으로 translate-test 성능보다 언어에 따라 몇 점 차이로 낮다.
• BiLSTM 인코더(BiLSTM-max)가 CBOW 베이스라인보다 모든 언어에서 우수하다.
• 정렬 기반 다국어 임베딩은 가능성을 보이며 정렬 손실이 개선될수록 XNLI 정확도 향상과 상관관계가 있다.
• Urdu와 Swahili의 경우 제한된 병렬 데이터가 정렬 기반 방법의 이점을 제한하여 자원의 영향이 강조된다.