[논문 리뷰] How multilingual is Multilingual BERT?

Telmo Pires, Eva Schlinger외 1명|arXiv (Cornell University)|2019. 06. 04.

Natural Language Processing Techniques참고 문헌 16인용 수 139

한 줄 요약

한두 문장 직접 답변 요약: 논문은 104개 언어에서 학습된 Multilingual BERT (M-BERT)가 강력한 제로샷 크로스링구얼 전이를 보이며, 어휘 중복을 넘는 다국어 표현을 드러내고, 언어 유사성 및 스크립트에 따라 전이 성공이 달라진다.

ABSTRACT

In this paper, we show that Multilingual BERT (M-BERT), released by Devlin et al. (2018) as a single language model pre-trained from monolingual corpora in 104 languages, is surprisingly good at zero-shot cross-lingual model transfer, in which task-specific annotations in one language are used to fine-tune the model for evaluation in another language. To understand why, we present a large number of probing experiments, showing that transfer is possible even to languages in different scripts, that transfer works best between typologically similar languages, that monolingual corpora can train models for code-switching, and that the model can find translation pairs. From these results, we can conclude that M-BERT does create multilingual representations, but that these representations exhibit systematic deficiencies affecting certain language pairs.

연구 동기 및 목표

• M-BERT가 명시적 크로스링구얼 학습 없이도 다른 언어에 대해 얼마나 잘 일반화하는지 조사한다.
• 크로스 언어 전이가 어휘(단어 형상) 중복에 의존하는지 아니면 더 깊은 다국어 표현에 의존하는지 확인한다.
• 다른 스크립트와 코드스위칭 상황에서의 전이를 분석한다.
• 크로스링구얼 일반화에 대한 어족학적(타입) 유사성의 영향을 조사한다.
• M-BERT의 다국어 특징 공간의 구조를 특성화한다.

제안 방법

• 104개 언어에 대해 공유 단어 조각 어휘를 가진 M-BERT를 사용한다.
• 한 언어의 작업 데이터로 미세조정하고 다른 언어에서 제로샷으로 NER 및 POS 태깅을 평가한다.
• 어휘 중복 의존성을 평가하기 위해 영어 중심 모델과 제로샷 성능을 비교한다.
• 다른 스크립트와 어족 특징을 바꿔가며 교차 스크립트 및 교차 언어 전이를 연구한다.
• M-BERT의 다국어 특징 공간의 기하를 언어별로 매핑하기 위한 프로빙 분석을 수행한다.

실험 결과

연구 질문

• RQ1 다른 스크립트를 가진 언어 간에 M-BERT가 제로샷 크로스링구얼 전이를 가능하게 하는가?
• RQ2 어휘 중복이 크로스링구얼 전이에 어느 정도 작용하는가, 그리고 M-BERT가 어휘 암기 그 이상으로 전이를 수행할 수 있는가?
• RQ3 타입학적 유사성이 제로샷 전이 성능에 미치는 영향은 무엇인가?
• RQ4 다중 언어 사전학습 없이 코스위치된 텍스트 및 음역된 텍스트에 M-BERT가 일반화할 수 있는가?
• RQ5 다국어 표현 공간의 구조는 언어 간에 어떻게 분포되어 있는가?

주요 결과

Fine-tuning 언어	Eval 언어	en	de	nl	es
en	en	90.70	-	-	-
en	de	-	69.74	-	-
en	nl	-	-	77.36	-
en	es	-	-	-	73.59
de	en	-	73.83	-	-
de	de	-	82.00	-	-
de	nl	-	-	76.25	-
de	es	-	-	-	70.03
nl	en	-	-	-	-
nl	de	-	-	65.68	-
nl	nl	-	-	89.86	-
nl	es	-	-	-	72.10
es	en	-	-	-	-
es	de	-	-	-	59.40
es	nl	-	-	-	64.39
es	es	-	-	-	87.18

• M-BERT는 서로 다른 스크립트를 포함한 언어 쌍에서도 강력한 제로샷 NER 및 POS 성능을 달성한다.
• 제로샷 NER 전이는 주로 어휘 조각의 중복과 무관하며, 어휘 memorization을 넘어서는 다국어 표현을 시사한다.
• POS 전이는 유럽어 쌍에서 높은 정확도(대부분의 경우 >80%)를 보이며, 스크립트와 어족학적 차이에 따라 달라진다.
• 스크립트 간 전이가 가능하지만(예: 우르두에서 힌디어), 균등하지 않으며, 어족학적 유사성은 전이 성능을 향상시킨다.
• 코드 스위칭과 음역은 도전 과제로 남으며, 음역 인지 학습 없이 음역 전이 효과는 약하다.
• 프로빙은 낮은 계층에서 언어에 구애받지 않는 하위 공간이 존재하고, 높은 계층에서 언어 특이 신호가 나타난다고 시사한다.
• 저자들은 M-BERT가 다국어 표현을 학습하지만 특정 언어 쌍에서 체계적 결함이 있어, 교차 언어 일반화를 개선하기 위해 명시적 다국어 학습 목표의 필요성을 시사한다.