[논문 리뷰] Are All Languages Created Equal in Multilingual BERT?

Shijie Wu, Mark Dredze|arXiv (Cornell University)|2020. 05. 18.

Topic Modeling참고 문헌 29인용 수 16

한 줄 요약

이 논문은 다국어 BERT(mBERT)가 훈련한 104개 언어 전반에서 동일한 수준의 고품질 표현을 학습하는지 조사한다. 각각 99개 및 54개 언어에서 명명된 엮임 인식(NER), 품사 태깅, 의존성 파싱을 수행한 결과, mBERT는 자원이 적은 언어에서 유의미하게 성능이 열 劣하고, 비-BERT 기반 모델보다도 열 劣하며, 동일한 아키텍처를 가진 단일 언어 BERT 모델들 역시 더 열 劣한 성능을 보였다. 자원이 적은 언어를 언어학적으로 유사한 언어와 조합하는 것은 성능을 향상시켰지만 여전히 mBERT에 뒤지며, 이는 자원이 적은 언어에 대해 다국어 미세조정이 필수적인 인덕티브 바이어스를 제공한다는 것을 시사한다.

ABSTRACT

Multilingual BERT (mBERT) trained on 104 languages has shown surprisingly good cross-lingual performance on several NLP tasks, even without explicit cross-lingual signals. However, these evaluations have focused on cross-lingual transfer with high-resource languages, covering only a third of the languages covered by mBERT. We explore how mBERT performs on a much wider set of languages, focusing on the quality of representation for low-resource languages, measured by within-language performance. We consider three tasks: Named Entity Recognition (99 languages), Part-of-speech Tagging, and Dependency Parsing (54 languages each). mBERT does better than or comparable to baselines on high resource languages but does much worse for low resource languages. Furthermore, monolingual BERT models for these languages do even worse. Paired with similar languages, the performance gap between monolingual BERT and mBERT can be narrowed. We find that better models for low resource languages require more efficient pretraining techniques or more data.

연구 동기 및 목표

• 이전 연구가 고자원 언어에 국한된 바에 비해, 104개 언어 전반에서 mBERT의 제로샷 다국어 전이 성능을 평가하는 것, 특히 자원이 적은 언어에 중점을 두어 평가한다.
• mBERT의 성능을 동일한 데이터로 훈련된 단일 언어 BERT와 비교하여, 성능 열 劣의 원인이 모델 아키텍처인지 자료 부족인지를 분리하여 분석한다.
• 자원이 적은 언어를 언어학적으로 유사한 언어와 쌍으로 조합하여 표현 품질 향상 여부를 조사하며, 이는 단일 언어 훈련과 다량 다국어 훈련 사이의 중간 전략이다.
• 자원이 적은 언어에서의 성능 격차가 자료 불균형, 서브워드 분포 편향, 또는 다국어 미세조정의 본질적 한계 때문인지 규명한다.

제안 방법

• 표준 후행 평가 프로토콜을 사용하여, 각각 99개, 54개, 54개 언어에서 명명된 엮임 인식(NER), 품사 태깅(POS), 의존성 파싱에 대해 mBERT를 미세조정한다.
• mBERT에서 사용된 동일한 자원이 적은 언어 코퍼스를 사용하여 동일한 초모수를 적용해 단일 언어 BERT 모델을 훈련시켜 다국어 미세조정의 영향을 분리한다.
• 저자원 언어와 언어학적으로 유사한 고자원 언어 쌍(예: 라트비아어–리투아니아어, 아프리카누아어–네덜란드어)을 함께 미세조정하여 이중 언어 BERT 모델을 구축한다.
• 고정 배치 크기와 시퀀스 길이를 사용한 통제된 미세조정 설정에서, 단지 어휘 크기와 시퀀스 길이만 변화시켜 효율성 트레이드오프를 평가한다.
• 표준 메트릭을 사용해 성능을 측정한다: NER는 F1, POS와 의존성 파싱은 정확도이며, 훈련 동역학은 클로즈 태스크 개발 퍼플렉서티를 통해 모니터링한다.
• 서브워드 분포와 언어 간 어휘 겹침을 분석하여 mBERT의 미세조정 신호에 잠재적인 편향이 존재하는지 평가한다.

실험 결과

연구 질문

• RQ1 mBERT는 훈련한 104개 언어 전반에서 동일한 수준의 고품질 표현을 학습하는가, 아니면 자원이 적은 언어가 특히 영향을 받는가?
• RQ2 자원이 적은 언어에서 단일 언어 BERT의 성능이 mBERT보다 열 劣한가? 이는 다국어 미세조정이 필수적인 인덕티브 바이어스를 제공한다는 것을 의미하는가?
• RQ3 자원이 적은 언어를 언어학적으로 유사한 언어와 쌍으로 조합하면 표현 품질이 향상되는가? 이 방법은 mBERT에 가까운 성능을 달성할 수 있는가?
• RQ4 자원이 적은 언어에서 mBERT의 열 劣한 성능은 자료 부족, 서브워드 분포 편향, 또는 공동 다국어 미세조정의 본질적 한계 때문인가?

주요 결과

• mBERT는 훈련 자원 기준으로 하위 30% 언어에서 비-BERT 기반 모델보다 유의미하게 열 劣한 성능을 보이며, 일부 자원이 적은 언어에서는 무작위 기반 모델보다도 낮은 F1 점수를 기록한다.
• mBERT와 동일한 자원이 적은 언어 코퍼스로 훈련된 단일 언어 BERT는 테스트한 네 개의 자원이 적은 언어(Mongolian, Yoruba, Latvian, Afrikaans)에서 mBERT보다 열 劣한 성능을 보이며, 다국어 미세조정이 필수적인 인덕티브 바이어스를 제공한다는 것을 시사한다.
• 저자원 언어와 관련된 고자원 언어 쌍(예: 아프리카누아어–네덜란드어)으로 훈련된 이중 언어 BERT는 단일 언어 BERT보다 성능이 뛰어나지만 여전히 mBERT에 뒤지며, mBERT의 다국어 인덕티브 바이어스가 이중 훈련보다 더 강하다는 것을 시사한다.
• 단일 언어 BERT의 자원이 적은 언어에서의 성능은 훈련 동역학과 관련이 있다: 클로즈 태스크 개발 퍼플렉서티가 조기에 정체되면 후행 성능도 정체되며, 이는 자료 부족과 과적합을 시사한다.
• 라트비아어나 아프리카누아어와 같은 고자원 언어에서는 계속된 미세조정이 성능 향상에 기여하며, 더 큰 배치 크기로 더 긴 훈련이 단일 언어 BERT의 성능을 향상시킬 수 있음을 시사한다. 그러나 자원이 적은 언어에서는 자료 한계로 인해 이는 현실적이지 않다.
• 더 작은 BERT 모델(짧은 시퀀스 길이, 큰 배치 크기)이 자원이 적은 언어에서 더 뛰어난 성능을 보이며, 자원이 적은 환경에서는 모델 크기보다 자료 효율성이 더 중요하다는 것을 시사한다.