[논문 리뷰] Identifying Necessary Elements for BERT's Multilinguality

Philipp Dufter, Hinrich Schütze|arXiv (Cornell University)|2020. 05. 01.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 BERT의 다국어성에 필수적인 네 가지 아키텍처적 요인과 두 가지 언어학적 요인을 규명한다: 공유된 위치 임베딩, 공유된 특수 토큰, 무작위 토큰 마스킹, 파라미터 효율성, 일관된 어순, 그리고 유사한 훈련 데이터. 경량의 합성 데이터 기반 설정을 통해 저자들은 이러한 요소들이 효과적인 제로샷 다국어 전이를 가능하게 함을 입증하였으며, XNLI에서 세 개의 언어로 검증된 결과, 다국어성은 명시적인 다국어 신호가 아니라 모델 설계 내의 구조적 및 표현적 일치 덕분에 향상됨을 보여준다.

ABSTRACT

It has been shown that multilingual BERT (mBERT) yields high quality multilingual representations and enables effective zero-shot transfer. This is surprising given that mBERT does not use any crosslingual signal during training. While recent literature has studied this phenomenon, the reasons for the multilinguality are still somewhat obscure. We aim to identify architectural properties of BERT and linguistic properties of languages that are necessary for BERT to become multilingual. To allow for fast experimentation we propose an efficient setup with small BERT models trained on a mix of synthetic and natural data. Overall, we identify four architectural and two linguistic elements that influence multilinguality. Based on our insights, we experiment with a multilingual pretraining setup that modifies the masking strategy using VecMap, i.e., unsupervised embedding alignment. Experiments on XNLI with three languages indicate that our findings transfer from our small setup to larger scale settings.

연구 동기 및 목표

• 다국어 BERT(mBERT)가 명시적인 다국어 훈련 신호 없이도 언어 간 일반화할 수 있도록 하는 아키텍처적 및 언어학적 구성 요소를 규명하는 것.
• 합성 및 자연 언어 데이터를 활용한 경량이고 효율적인 실험 설정을 개발하여 다국어성에 영향을 주는 요인들을 고립하고 테스트하는 것.
• 과도한 파라미터화 또는 구조적 차이(예: 뒤집힌 어순)가 다국어 표현 학습을 저해하는지 조사하는 것.
• 위키백과와 XNLI를 활용해 실제 다국어 환경에서 소규모 실험의 결과가 일반화되는지 검증하는 것.
• 추가적인 감독 없이 복잡한 손실 함수를 사용하지 않고도 VecMap을 통해 마스킹 전략을 정렬함으로써 다국어성을 향상시킬 수 있는 단순한 비지도 수정 방법을 제안하는 것.

제안 방법

• 합성(가짜-영어) 및 자연(읽기 쉬운 성경) 데이터로 훈련된 소형 모델을 사용한 최소한의 BERT 설정을 제안하여 빠른 실험을 가능하게 한다.
• 토큰화 이후 토큰 인덱스를 이동시키고 '::'를 접두어로 붙여 언어적 구조를 유지하면서 표현 방식을 변경함으로써 가짜-영어를 생성한다.
• 공유된 서브워드 어휘와 제어된 데이터 혼합을 통해 아키텍처적 및 언어학적 변수를 고립한다.
• 제어된 아키텍처 수정을 통해 모델을 훈련한다: 공유된 특수 토큰 제거(no-special), 공유된 위치 임베딩 제거(no-pos), 마스킹된 토큰을 무작위 토큰으로 대체(no-random), 토큰 인덱스 이동(shift-special).
• VecMap을 적용하여 언어 간 단어 임베딩을 정렬하고 마스킹 전략을 수정하여 다국어 일치도를 향상시킨다.
• 세 언어에서 문장 쌍 분류 작업을 통해 XNLI에서 다국어성을 평가하며, 제로샷 전이 성능을 측정한다.

실험 결과

연구 질문

• RQ1 BERT의 다국어 표현 학습에 필수적인 아키텍처 구성 요소는 무엇인가?
• RQ2 어순과 구조적 유사성과 같은 언어학적 특성이 BERT의 다국어 일반화에 어떻게 영향을 주는가?
• RQ3 과도한 파라미터화 또는 훈련 기간이 다국어성과 충돌하는가? 만약 그렇다면 어떻게?
• RQ4 추가적인 감독 없이도 마스킹된 토큰의 비지도 정렬을 통해 다국어성을 향상시킬 수 있는가?
• RQ5 소규모 합성 설정에서의 발견이 더 큰 실제 다국어 환경으로 일반화되는가?

주요 결과

• 공유된 위치 임베딩과 공유된 특수 토큰은 다국어 표현 일치에 필수적이며, 이를 제거하면 다국어성은 심각하게 악화된다.
• 마스킹된 토큰을 [MASK]가 아닌 무작위 토큰으로 대체하면 다국어 성능이 크게 향상되며, 이는 동적 마스킹이 다국어 일반화에 기여함을 시사한다.
• 한 언어에서 어순이 뒤집힌 모델은 다국어 능력을 상실하며, 이는 일관된 문법적 구조가 다국어 전이에 필수적임을 나타낸다.
• 과도한 파라미터화와 장기적인 훈련 기간은 다국어성 감소와 관련이 있으며, 일반화 능력과 다국어 능력 사이에 상충 관계가 있음을 시사한다.
• 제안된 VecMap 기반 마스킹 전략은 XNLI에서 다국어 성능을 향상시키며, 이는 비지도 정렬이 추가 감독 없이도 다국어성을 향상시킬 수 있음을 보여준다.
• 소규모 설정에서의 발견은 대규모 설정으로 일반화된다: 수정된 모델은 세 언어에서 XNLI에서 강력한 제로샷 성능을 달성하여 통찰의 견고성을 확인한다.