[논문 리뷰] What makes multilingual BERT multilingual?

Chi-Liang Liu, Tsung-Yuan Hsu외 2명|arXiv (Cornell University)|2020. 10. 20.

Topic Modeling참고 문헌 22인용 수 7

한 줄 요약

이 논문은 동일한 사전학습 조건에서 맥락 기반 BERT와 비맥락 기반 단어 임베딩(GloVe, Word2Vec)을 비교함으로써 다국어 BERT의 다국어 간 전이 능력의 근본 원인을 탐구한다. 연구 결과, 대규모 사전학습 데이터와 어텐션을 통한 장거리 의존성 모델링이 다국어 간 정렬에 필수적이며, 비맥락 기반 모델은 동일한 데이터와 맥락 창 크기 조건에서도 유사한 성능을 달성하지 못함을 발견하였다.

ABSTRACT

Recently, multilingual BERT works remarkably well on cross-lingual transfer tasks, superior to static non-contextualized word embeddings. In this work, we provide an in-depth experimental study to supplement the existing literature of cross-lingual ability. We compare the cross-lingual ability of non-contextualized and contextualized representation model with the same data. We found that datasize and context window size are crucial factors to the transferability.

연구 동기 및 목표

• 다국어 BERT가 비맥락 기반 임베딩보다 뛰어난 다국어 간 전이 성능을 내는 데 기여하는 특정 요인을 이해하기 위해.
• 데이터 크기와 맥락 창 크기의 길이가 다국어 모델의 다국어 간 정렬에 미치는 영향을 분리하여 분석하기 위해.
• m-BERT와 동일한 조건에서 훈련된 비맥락 기반 임베딩이 유사한 다국어 간 전이 능력을 달성할 수 있는지 조사하기 위해.
• 품사 품질에 따라 m-BERT 내에서 다국어 간 정렬이 어디서 어떻게 일어나는지 분석하기 위해.

제안 방법

• 15개 언어의 위키백과 데이터를 사용하여 GloVe, Word2Vec, BERT를 모두 새로 사전학습시켰으며, 어휘와 워드피ece 토크나이제이션을 통제함.
• MUSE에서 제공하는 双어사전을 사용하여 단어 검색 성능을 평가하고, MRR(Mean Reciprocal Rank)로 다국어 간 정렬을 평가함.
• 14개 언어에서 수행된 XNLI 벤치마크에서 제로샷 다국어 간 전이 성능을 평가함.
• 사전학습 데이터 크기를 변화시켜 데이터 스케일 효과를 분석함(언어당 200k 문장 대비 1M 문장).
• 입력 시퀀스 길이를 20 토큰으로 수정하여 맥락 창이 축소된 상황을 시뮬레이션하고, 장거리 의존성 모델링에 미치는 영향을 평가함.
• 품사 품질(tag)에 따라 정렬 성능를 분석하여, 개방형 품사(명사, 동사, 형용사, 부사)와 폐쇄형 품사(대명사, 전치사)로 토큰을 그룹화함.

실험 결과

연구 질문

• RQ1 비맥락 기반 모델과 비교할 때, 사전학습 데이터 크기가 다국어 BERT의 다국어 간 전이 능력에 어떤 영향을 미치는가?
• RQ2 맥락 창 크기(즉, 장거리 의존성 모델링)가 BERT와 비맥락 기반 임베딩 간의 다국어 간 정렬에 어떤 영향을 미치는가?
• RQ3 BERT와 동일한 데이터와 동일한 맥락 창 크기로 훈련된 비맥락 기반 단어 임베딩(GloVe, Word2Vec)이 BERT와 유사한 다국어 간 정렬을 달성할 수 있는가?
• RQ4 다국어 BERT에서 어떤 품사 범주가 가장 강한 다국어 간 정렬을 보이는가?

주요 결과

• 언어당 100만 문장의 대규모 사전학습 데이터는 BERT의 다국어 간 정렬 능력을 크게 향상시키지만, 20만 문장의 작은 데이터로는 동일한 모델 아키텍처 조건에서도 성능이 제한됨.
• 입력 맥락 창을 20 토큰으로 축소하면 BERT의 다국어 간 전이 성능이 단어 검색 및 XNLI 모두에서 극적으로 악화되며, 이는 장거리 의존성 모델링이 핵심임을 시사함.
• BERT와 동일한 데이터와 맥락 창 크기로 훈련된 비맥락 기반 모델(GloVe, Word2Vec)은 유사한 다국어 간 정렬을 달성하지 못함으로써, 맥락 기반 처리의 고유한 기여를 입증함.
• BERT는 폐쇄형 품사 태그보다 개방형 품사 태그(예: 명사, 형용사)에서 더 높은 다국어 간 정렬 성능를 보이며, 특히 형용사가 가장 높은 MRR 점수를 기록함.
• XNLI 제로샷 전이 작업에서 BERT는 모든 14개의 목표 언어에서 GloVe와 Word2Vec를 압도적으로 앞서며, 성능은 단어 검색 MRR 점수와 강하게 상관됨.
• 저데이터 환경(20만 문장)에서는 맥락 창을 줄이면 BERT의 정렬 성능이 향상됨을 관찰하여, 제한된 데이터에서는 단순화된 장거리 모델링이 유리할 수 있음.