[논문 리뷰] Revisiting the Primacy of English in Zero-shot Cross-lingual Transfer

Iulia Turc, Kenton Lee외 3명|arXiv (Cornell University)|2021. 06. 30.

Topic Modeling참고 문헌 25인용 수 37

한 줄 요약

본 논문은 영어가 항상 제로샷 교차언어 전이의 최적의 전달 언어가 아닐 수 있음을 보인다; 독일어와 러시아어가 다양한 목표 언어들에서 더 효과적으로 전이되는 경우가 많으며, 영어 학습 데이터를 더 나은 소스 언어로 번역하면 제로샷 성능이 향상될 수 있다.

ABSTRACT

Despite their success, large pre-trained multilingual models have not completely alleviated the need for labeled data, which is cumbersome to collect for all target languages. Zero-shot cross-lingual transfer is emerging as a practical solution: pre-trained models later fine-tuned on one transfer language exhibit surprising performance when tested on many target languages. English is the dominant source language for transfer, as reinforced by popular zero-shot benchmarks. However, this default choice has not been systematically vetted. In our study, we compare English against other transfer languages for fine-tuning, on two pre-trained multilingual models (mBERT and mT5) and multiple classification and question answering tasks. We find that other high-resource languages such as German and Russian often transfer more effectively, especially when the set of target languages is diverse or unknown a priori. Unexpectedly, this can be true even when the training sets were automatically translated from English. This finding can have immediate impact on multilingual zero-shot systems, and should inform future benchmark designs.

연구 동기 및 목표

• 제로샷 교차언어 전이에서 영어를 넘어 전달 언어 효과를 평가하도록 동기를 부여한다.
• 다국어 모델을 사용하여 비영어 소스 언어가 다양한 대상 언어로 어떻게 전이되는지를 정량화한다.
• 영어에서 기계번역된 학습 데이터가 영어 기반의 전이보다 나을지 혹은 동등한지 평가한다.
• 다국어 NLP에서 데이터 수집 및 벤치마크 설계에 대한 실행 가능한 지침을 제공한다.

제안 방법

• 소스 S와 대상 T를 비교하여 제로샷 전이 가능도 지표를 정의한다. Z(S→T) = E(M^S, T) / E(M^T, T)로 상대 능력을 사용한다.
• 대상 집합 L에 대해 Z(S→L) = (1/|L|) Σ_T∈L Z(S→T)로 전이 가능성을 집계한다.
• 두 개의 사전학습 다중언어 모델(mBERT와 mT5-base)을 분류 및 QA 과제에 대해 실험한다.
• 단일 소스 언어에서의 단일언어 미세조정monolingual fine-tuning을 사용한 후, 여러 대상에서 제로샷 성능을 평가한다.
• 번역 효과를 평가하기 위해 영어 기원 학습 데이터를 기계 번역된 변형과 비교하여 데이터 품질을 통제한다.

실험 결과

연구 질문

• RQ1 영어가 다양한 대상 언어에 대한 제로샷 교차언어 전이에서 가장 효과적인 소스 언어인가?
• RQ2 표준 벤치마크(XNLI, PAWS-X, XQuAD, TyDi QA)에서 어떤 비영어 소스 언어들이 더 강한 교차언어 전이를 제공하는가?
• RQ3 영어 학습 데이터를 다른 언어로 번역하는 것이 영어로 직접 학습하는 것보다 제로샷 전이를 향상시키는가?
• RQ4 태스크 전반에서 인코더 전용 모델(mBERT)과 인코더-디코더 모델(mT5) 간 결과에 차이가 있는가?
• RQ5 목표 언어가 서로 다른 문자 체계와 언어 계통을 포괄할 때 전이 성능은 어떻게 달라지는가?

주요 결과

• 독일어와 러시아어가 XNLI와 PAWS-X 전이 소스로서 영어를 자주 능가한다.
• 제로샷 우위가 영어에 비해 여러 비영어 소스에서 관찰되며, 예를 들어 de MT와 ru MT가 평균적으로 양의 이점을 보인다.
• 영어 학습 데이터를 더 강한 소스(예: 독일어나 러시아어)로 번역하면 제로샷 전이가 향상될 수 있으며, MT 데이터를 사용할 때도 해당된다.
• mT5를 이용한 QA 과제에서 영어가 가장 강한 소스가 될 수 있지만, 독일어/러시아어의 전이는 특정 대상(예: 태국)에 여전히 혜택을 준다.
• mBERT는 일반적으로 최고의 소스와 최악의 소스 간 격차가 mT5보다 크며, 사전학습 규모와 전략이 전이 역학에 영향을 준다.