[논문 리뷰] From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers

Anne Lauscher, Vinit Ravishankar외 2명|arXiv (Cornell University)|2020. 05. 01.

Topic Modeling참고 문헌 53인용 수 35

한 줄 요약

이 논문은 매우 다국어 변환기를 이용한 제로샷 교차언어 전이(zero-shot cross-lingual transfer)를 분석하고, 먼 언어와 작은 대상 코퍼라에서 상당한 차이가 있음을 보이며, 제한된 대상언어 데이터로의 소수 샷(few-shot) 미세조정이 특히 하위 수준 작업에서 큰 이익을 가져올 수 있음을 입증한다.

ABSTRACT

Massively multilingual transformers pretrained with language modeling objectives (e.g., mBERT, XLM-R) have become a de facto default transfer paradigm for zero-shot cross-lingual transfer in NLP, offering unmatched transfer performance. Current downstream evaluations, however, verify their efficacy predominantly in transfer settings involving languages with sufficient amounts of pretraining data, and with lexically and typologically close languages. In this work, we analyze their limitations and show that cross-lingual transfer via massively multilingual transformers, much like transfer via cross-lingual word embeddings, is substantially less effective in resource-lean scenarios and for distant languages. Our experiments, encompassing three lower-level tasks (POS tagging, dependency parsing, NER), as well as two high-level semantic tasks (NLI, QA), empirically correlate transfer performance with linguistic similarity between the source and target languages, but also with the size of pretraining corpora of target languages. We also demonstrate a surprising effectiveness of inexpensive few-shot transfer (i.e., fine-tuning on a few target-language instances after fine-tuning in the source) across the board. This suggests that additional research efforts should be invested to reach beyond the limiting zero-shot conditions.

연구 동기 및 목표

• 언어적 유사성 및 대상언어 데이터 규모가 매크로 다국어 트랜스포머를 이용한 제로샷 전이에 어떤 영향을 미치는지 다중 작업에서 평가한다.
• 제로샷 조건에서 작업 유형이 전이 효과에 영향을 미치는지 평가한다.
• 언어 유사성 및 사전 학습 코퍼스 크기를 사용해 전이 성능의 예측 가능성을 조사한다.
• 자원 제약이 큰 언어에서 성능을 개선하기 위한 저비용의 few-shot 전이의 가능성을 시연한다.

제안 방법

• 영어 작업 데이터에서 mBERT 및 XLM-R를 미세조정하고 5개 작업에서 21개 대상 언어에 대한 제로샷 전이를 평가한다.
• 표준 토크나이저와 작업별 아키텍처를 사용한다 (DEP에 대한 biaffine 파서, NER에 대한 FFN+CRF, XNLI 및 XQuAD에 대한 소프트맥스 스팬 분류기).
• 전이 품질을 UAS, 정확도, EM으로 정량화하고 영어 성능 대비 감소치를 보고한다.
• 제로샷 성능과 언어 유사성(lang2vec 특징 SYN, PHON, INV, FAM, GEO) 및 대상 언어 사전학습 크기(SIZE) 간의 상관관계를 분석한다.
• 근거리성 및 코퍼스 크기로부터 제로샷 전이 성능을 예측하기 위한 그리디 피처 선택을 포함한 선형(메타-회귀) 분석을 수행한다.

실험 결과

연구 질문

• RQ1 제로샷 전이에 대한 언어 유사성과 대상언어 사전학습 코퍼스 규모의 역할은 무엇인가?
• RQ2 제로샷 조건에서 하위 수준 작업과 상위 수준 작업 간 전이 성능은 어떻게 달라지는가?
• RQ3 언어적 근접성과 코퍼스 크기를 이용한 간단한 또는 선형 모델로 전이 성능을 예측할 수 있는가?
• RQ4 소수의 대상언어 인스턴스로 구성된 few-shot 전이가 효과적이며, 작업 및 언어 거리별로 그 효율성 차이가 있는가?

주요 결과

• 제로샷 전이는 모든 작업과 언어에서 상당한 성능 저하를 보이며, 먼 언어와 작은 대상언어 사전학습 코퍼타에 대해 더 큰 감소가 나타난다.
• 하위 수준 작업의 경우는 언어적 유사성과 상관관계가 있으며, 상위 수준 작업의 경우 대상언어 코퍼스 크기와 상관관계가 나타난다.
• 근접성 특징과 코퍼스 크기의 선형 조합이 제로샷 성능 예측에 도움이 되며, 특히 상위 수준 작업에서 그 효과가 크다.
• 소량의 대상언어 예시로 미세조정하는 few-shot 전이는 특히 하위 수준 작업과 먼 거리의 언어에서 큰 이익을 가져오며, 때로는 제로샷 베이스라인을 크게 능가한다.
• few-shot 전이의 이익은 비교적 적은 주석 노력을 필요로 하지만 작업에 따라 주석 비용은 여전히 병목이 될 수 있다.