[논문 리뷰] Language Contamination Helps Explain the Cross-lingual Capabilities of English Pretrained Models

Terra Blevins, Luke Zettlemoyer|arXiv (Cornell University)|2022. 04. 17.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 영어로 미리 훈련된 언어 모델이 다국어 설계의 본질적 특성 덕분이 아니라, 사전 훈련 코퍼스에 비영어 텍스트가 상당히 오염되어 있기 때문에 강력한 다국어 전이 능력을 보임을 입증한다. 심지어 비영어 텍스트 비율이 1% 미만일지라도 이는 수억 개의 외국어 토큰으로 이어지며, 비영어 언어에서의 모델 성능은 사전 훈련 중에 접한 해당 언어 데이터의 양과 강하게 상관관계가 있음을 보여, 이러한 모델이 실제로 다국어 모델임을 도전한다.

ABSTRACT

English pretrained language models, which make up the backbone of many modern NLP systems, require huge amounts of unlabeled training data. These models are generally presented as being trained only on English text but have been found to transfer surprisingly well to other languages. We investigate this phenomenon and find that common English pretraining corpora actually contain significant amounts of non-English text: even when less than 1% of data is not English (well within the error rate of strong language classifiers), this leads to hundreds of millions of foreign language tokens in large-scale datasets. We then demonstrate that even these small percentages of non-English data facilitate cross-lingual transfer for models trained on them, with target language performance strongly correlated to the amount of in-language data seen during pretraining. In light of these findings, we argue that no model is truly monolingual when pretrained at scale, which should be considered when evaluating cross-lingual transfer.

연구 동기 및 목표

• 영어 전용 사전 훈련된 모델이 비영어 작업에서 놀라운 성능을 보이는 이유를 조사하기 위해.
• 일반적으로 사용되는 영어 사전 훈련 코퍼스에 포함된 비영어 텍스트의 정도를 정량화하기 위해.
• 사전 훈련 중 외국어 데이터에 노출된 정도가 다국어 전이 성능을 설명하는지 평가하기 위해.
• 영어 전용 데이터로 사전 훈련된 모델가 실제로 스케일에 따라 진정으로 단일언어 모델임을 가정하는 것에 도전하기 위해.

제안 방법

• 사전 훈련 데이터셋의 라인을 비영어로 분류하기 위해 신뢰도 임계값 0.6을 사용한 FastText 언어 식별을 사용하였다.
• C4, 위키백과, BookCorpus, OpenWebText, CC-NEWS, Stories를 포함한 6개의 주요 영어 사전 훈련 코퍼스에 대해 대규모 자동 언어 구성 분석을 수행하였다.
• 언어 식별 결과를 검증하고 맥락화하기 위해 소규모 수준의 수동 정성 분석을 수행하였다.
• 50개 언어에서 마스크 언어 모델링 및 품사 태깅 성능을 평가하여 다국어 전이 능력을 측정하였다.
• 목표 언어 성능을 사전 훈련 중에 접한 해당 언어 토큰의 양과 상관관계를 분석하였다.
• 영어 T5와 mBERT를 제로샷 및 미세조정된 품사 태깅 작업에서 비교하여 전이 효과를 평가하였다.

실험 결과

연구 질문

• RQ1 일반적으로 사용되는 영어 사전 훈련 코퍼스에 비영어 텍스트가 얼마나 포함되어 있는가? (단일언어 데이터라고 주장함에도 불구하고)
• RQ2 사전 훈련 데이터에서 비영어 텍스트에 노출된 정도가 영어 전용 모델의 다국어 전이 성능을 어느 정도 설명하는가?
• RQ3 관찰된 다국어 능력은 제로샷 일반화가 아니라 데이터 오염 탓인가?
• RQ4 영어 T5와 같은 모델이 목표 언어 데이터에 노출되어 있기 때문에 제로샷 다국어 작업에서 mBERT와 같은 다국어 모델을 능가할 수 있는가?
• RQ5 자료 수집 방법상의 특성으로 인해 대규모로 진정한 단일언어 모델을 훈련하는 것은 실현 가능할 수 있는가?

주요 결과

• 일반적인 영어 사전 훈련 코퍼스는 비영어 텍스트를 상당량 포함하고 있으며, 추정치는 300만에서 4억 6000만 토큰에 이르며, 이는 단일언어로 표기된 데이터임에도 불구하고 그렇다.
• 비영어 텍스트 비율이 1% 미만일지라도, C4나 OpenWebText와 같은 대규모 코퍼스는 외국어 토큰 수백만 개를 포함하고 있다.
• 비영어 언어에서의 모델 성능은 사전 훈련 중에 접한 해당 언어 데이터의 양과 강하게 상관관계가 있다.
• 영어 T5는 여러 언어에서 제로샷 품사 태깅 성능에서 mBERT를 능가하며, 이는 데이터 오염이 전이를 이끄는 주요 원인임을 시사한다.
• 웹 크롤링된 데이터로 훈련된 모델는 위키백과와 같이 수작업로 컨택된 데이터셋보다 더 높은 비영어 텍스트 비율을 보였다.
• 이 연구는 대규모 데이터 수집 파이프라인의 본질적 오염으로 인해 진정으로 단일언어 모델을 스케일에 맞게 훈련하는 것은 불가능할 것이라고 결론 내린다.