[논문 리뷰] Cross-Lingual Ability of Multilingual BERT: An Empirical Study

K Karthikeyan, Zihan Wang외 2명|arXiv (Cornell University)|2019. 12. 17.

Topic Modeling참고 문헌 11인용 수 172

한 줄 요약

본 논문은 다국어 BERT(M-BERT)에서 교차 언어 전이의 원인을 언어적 특성, 아키텍처, 학습 목표를 통해 이중언어 BERT 변형을 탐구하여 구조적 유사성과 모델 깊이가 핵심인 반면 워드피스 중복과 다중-헤드 어텐션의 중요성은 상대적으로 낮다는 것을 밝혀낸다.

ABSTRACT

Recent work has exhibited the surprising cross-lingual abilities of multilingual BERT (M-BERT) -- surprising since it is trained without any cross-lingual objective and with no aligned data. In this work, we provide a comprehensive study of the contribution of different components in M-BERT to its cross-lingual ability. We study the impact of linguistic properties of the languages, the architecture of the model, and the learning objectives. The experimental study is done in the context of three typologically different languages -- Spanish, Hindi, and Russian -- and using two conceptually different NLP tasks, textual entailment and named entity recognition. Among our key conclusions is the fact that the lexical overlap between languages plays a negligible role in the cross-lingual success, while the depth of the network is an integral part of it. All our models and implementations can be found on our project page: http://cogcomp.org/page/publication_view/900 .

연구 동기 및 목표

• 영어와 대상 언어들(스페인어, 힌디어, 러시아어) 간에 M-BERT에서 교차-언어 전이를 가능하게 하는 언어적 특성을 평가한다.
• 단일 언어 및 교차-언어 성능에서 모델 아키텍처(깊이, 어텐션 헤드 수, 매개변수 수)의 역할을 평가한다.
• 교차-언어 학습을 위한 입력 표현 및 학습 목표(NSP, 언어 식별 마커, 토크나이제이션)를 고찰한다.
• 전이에 대한 어휘 중복과 구조적 유사성의 효과를 구별한다.
• 표면 형태를 조작하여 언어 간 유사성을 분석하는 방법론을 개발한다(예: Fake-English).

제안 방법

• 위키피디아 데이터를 사용하여 영어와 대상 언어로 이중언어 BERT(B-BERT) 변형을 학습한다.
• CO 데이터셋 구성으로 XNLI(텍스트 추론)와 NER에서 교차-언어 전이를 평가한다.
• 분리된 조각으로 구성된 Fake-English 언어를 도입하여 체계적으로 워드피스 중복을 변경한다.
• 사전 학습 중 어순을 순열하여 어순 유사성을 제어한다.
• 교차-언어 전이에 대한 깊이, 어텐션 헤드 수, 총 매개변수 수의 효과를 분석한다.
• 입력 표현(NSP, 언어 식별 마커, 문자/워드피스/단어 토큰화)을 테스트하고 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 언어 간 구조적 유사성에 비해 M-BERT에서 교차-언어 전이를 위한 워드피스 중복의 중요성은 어느 정도인가?
• RQ2 교차-언어 전이에 대한 모델 깊이, 어텐션 헤드 수, 총 매개변수 수의 상대적 기여도는?
• RQ3 NSP나 언어 식별 마커와 같은 학습 목표가 교차-언어 성능에 영향을 미치는가?
• RQ4 다양한 입력 토큰화(문자, 워드피스, 단어)가 교차-언어 능력에 어떤 영향을 미치는가?

주요 결과

• 워드피스 중복이 전혀 없어도 교차-언어 전이가 가능하며; 워드피스 중복은 성능에 거의 기여하지 않는다.
• 구조적 유사성이 표면적 중복이 아니라 교차-언어 전이를 주도한다; 어순 및 고차원적 언어 구조가 중요하다.
• 모델 깊이를 높이면 단일 언어 및 교차-언어 성능이 모두 향상되며; 총 매개변수 수가 중요하지만 깊이가 더 큰 영향을 미친다.
• 어텐션 헤드 수는 결정적이지 않다; 단일 헤드로도 만족스러운 교차-언어 결과를 얻을 수 있다.
• Next Sentence Prediction (NSP) 은 교차-언어 성능에 해를 끼치며; 입력의 언어 식별 마커는 교차-언어 전이에 큰 영향을 주지 않는다; 토큰화에 워드피스나 단어를 사용하는 것이 문자 기반 토큰화보다 성능이 우수하다.