[논문 리뷰] XLDA: Cross-Lingual Data Augmentation for Natural Language Inference and Question Answering

Jasdeep Singh, Bryan McCann외 3명|arXiv (Cornell University)|2019. 05. 27.

Topic Modeling참고 문헌 31인용 수 61

한 줄 요약

XLDA는 학습 중 입력의 일부를 다른 언어로 번역한 것으로 교체하여, 다수의 언어에서 교차 언어 NLI 및 QA 성능을 향상시킨다.

ABSTRACT

While natural language processing systems often focus on a single language, multilingual transfer learning has the potential to improve performance, especially for low-resource languages. We introduce XLDA, cross-lingual data augmentation, a method that replaces a segment of the input text with its translation in another language. XLDA enhances performance of all 14 tested languages of the cross-lingual natural language inference (XNLI) benchmark. With improvements of up to $4.8\%$, training with XLDA achieves state-of-the-art performance for Greek, Turkish, and Urdu. XLDA is in contrast to, and performs markedly better than, a more naive approach that aggregates examples in various languages in a way that each example is solely in one language. On the SQuAD question answering task, we see that XLDA provides a $1.0\%$ performance increase on the English evaluation set. Comprehensive experiments suggest that most languages are effective as cross-lingual augmentors, that XLDA is robust to a wide range of translation quality, and that XLDA is even more effective for randomly initialized models than for pretrained models.

연구 동기 및 목표

• 저자 주 다국어 전이 학습이 자원 부족 언어의 성능 향상에 기여하도록 동기를 부여한다.
• 번역된 구간을 사용하여 교차 언어 학습 신호를 생성하는 간단한 데이터 증강 방법을 제안한다.
• XLDA의 다수의 언어와 과제(XNLI 및 SQuAD)에서의 효과를 입증한다.
• 번역 품질에 대한 강건성과 사전 학습된 모델과 임의 초기화 모델 모두에 대한 적용 가능성을 제시한다.

제안 방법

• XLDA를 데이터셋 D에 대해 입력 x 또는 y의 일부를 언어 j로 번역한 것으로 대체하는 것으로 정의하고, D'를 만들며 교차 언어 학습 데이터셋 D_XLDA를 만든다.
• 단일언어, 비중첩 다국어(DMT), 및 XLDA 학습 설정을 비교한다.
• Devlin et al. (2018)의 표준 하이퍼파라미터를 사용하여 XNLI 및 SQuAD에서 BERT ML과 LSTM 기본 모델로 XLDA를 평가한다.
• 여러 MT 시스템의 번역을 사용하여 14개의 XNLI 언어와 SQuAD 학습 번역(영어 맥락/질문이 다중 언어로 번역된 것)에 걸친 교차 언어 증강자를 형성한다.
• 다중 증강자를 탐욕적으로 선택하여 단일 증강자 대비 성능 이득을 극대화한다.
• 사전 학습된 모델과 임의 초기화된 모델 모두에서 XLDA의 효과를 보이도록 제거 실험(ablation)을 수행한다.

실험 결과

연구 질문

• RQ1 학습 중 입력의 일부가 다른 언어로 번역될 때 XLDA가 자연어 이해를 향상시키는가?
• RQ2 교차 언어 증강이 XNLI의 모든 언어와 SQuAD에서 성능을 향상시킬 수 있는가?
• RQ3 XLDA가 번역 품질의 편차에 강건하고 사전 학습된 모델과 비사전 학습 모델 모두에서 효과적인가?
• RQ4 XLDA가 분리된 다국어 학습(DMT) 설정 및 역번역(back-translation) 방식과 어떻게 비교되는가?
• RQ5 다중 증강자 사용과 탐욕적 선택이 성능에 미치는 영향은 무엇인가?

주요 결과

• XLDA는 XNLI에서 단일 언어 학습 대비 모든 대상 언어의 성능을 향상시키며, 최대 4.8% 절대 이득을 달성한다.
• XLDA는 XNLI에서 그리스어, 터키어, 우르두에 대해 동시 전처리 없이도 최첨단 성과를 달성한다(Lample & Conneau 2019).
• SQuAD에서 학습 데이터가 추가 언어로 번역될 때 영어 평가 세트의 EM이 1.0% 향상된다.
• 대부분의 언어가 효과적인 교차 언어 증강자로 작용하며, 우르두는 종종 약한 증강자이고 힌디는 다른 대상에 대해 강한 이득을 제공하는 경향이 있다.
• 탐욕적 XLDA는 다중 증강자를 결합하여 단일 최상 증강자 및 표준 단일 언어 기준선 대비 일관되게 향상되며, 일부 경우 최대 약 4.9%의 이득을 준다.
• XLDA는 사전 학습된(BERT ML) 모델과 임의 초기화 모델 모두에 유익하며, LSTM 베이스라인을 사용할 때도 더 잘 수행될 수 있다.