[논문 리뷰] Emerging Cross-lingual Structure in Pretrained Language Models

Shijie Wu, Alexis Conneau외 3명|arXiv (Cornell University)|2019. 11. 04.

Topic Modeling참고 문헌 45인용 수 26

한 줄 요약

이 논문은 다국어 마스킹 언어 모델이 공유된 서브워드나 도메인 유사성이 없더라도, 상위 트랜스포머 레이어에서의 파라미터 공유를 통해 주로 다국어 표현을 학습한다는 것을 입증한다. 서로 다른 언어에서 훈련된 단국어 BERT 모델들이 간단한 선형 변환을 통해 정렬될 수 있음을 보여주며, 이는 단어 임베딩과 유사한 보편적인 잠재 대칭성을 드러내며, mBERT가 최소한의 아키텍처 제약 조건으로도 강력한 제로샷 전이를 달성할 수 있는 이유를 설명한다.

ABSTRACT

We study the problem of multilingual masked language modeling, i.e. the training of a single model on concatenated text from multiple languages, and present a detailed study of several factors that influence why these models are so effective for cross-lingual transfer. We show, contrary to what was previously hypothesized, that transfer is possible even when there is no shared vocabulary across the monolingual corpora and also when the text comes from very different domains. The only requirement is that there are some shared parameters in the top layers of the multi-lingual encoder. To better understand this result, we also show that representations from independently trained models in different languages can be aligned post-hoc quite effectively, strongly suggesting that, much like for non-contextual word embeddings, there are universal latent symmetries in the learned embedding spaces. For multilingual masked language modeling, these symmetries seem to be automatically discovered and aligned during the joint training process.

연구 동기 및 목표

• 다국어 마스킹 언어 모델에서 다국어 간 전이가 가능한 핵심 요인을 규명하는 것.
• 효율적인 다국어 표현 학습을 위해 공유된 어휘나 도메인 유사성이 필수적인지 여부를 판단하는 것.
• 서로 다른 언어에서 독립적으로 훈련된 단국어 BERT 모델들이 여전히 구조적 유사성을 보이는지 검토하는 것.
• 다양한 언어 간 표현을 정렬하는 데 있어 선형 정렬 기법의 효과성을 평가하는 것.
• 파라미터 공유와 아키텍처 설계가 다국어 표현 학습의 기초가 되는 데서 어떤 역할을 하는지 이해하는 것.

제안 방법

• 다양한 수준의 공유된 어휘, 공유된 서브워드 토크나이저, 도메인 겹침을 가진 双국어 BERT 모델에 대한 추론 실험을 수행하여 다국어 전이의 핵심 요인을 규명한다.
• 여러 언어에서 독립적으로 단국어 BERT 모델을 훈련하고, 은닉 표현의 유사성을 평가하기 위해 프로크루스테스 정렬(Procrustes alignment)을 적용한다.
• 모든 트랜스포머 레이어에서 단국어 및 이국어 모델 간의 신경망 유사도를 측정하기 위해 중심화된 커널 유사도(CKA)를 사용한다.
• 이중어 사전을 사용하여 인위적인 앵커 포인트를 생성하기 위해 합성된 코드 스위칭 코퍼스를 제작한다.
• 서브워드 수준 및 맥락 표현 수준에서 단국어 BERT 모델의 임베딩 공간을 선형 매핑 기법을 통해 정렬한다.
• 제한된 병렬 데이터를 사용하여 제로샷 다국어 간 전이 작업 및 병행 문장 검색에서 정렬 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다국어 마스킹 언어 모델에서 다국어 간 전이에 가장 중요한 요인은 공유된 어휘, 도메인 유사성, 또는 파라미터 공유 중 무엇인가?
• RQ2 서로 다른 언어에서 독립적으로 훈련된 단국어 BERT 모델들이 파라미터를 공유하지 않더라도 여전히 유사한 표현을 학습할 수 있는가?
• RQ3 단국어 BERT 모델의 표현을 얼마나 잘 단순 선형 변환을 통해 정렬할 수 있으며, 이러한 정렬이 다국어 간 전이에 얼마나 효과적인가?
• RQ4 트랜스포머 인코더의 다양한 레이어에서 표현의 유사도는 어떻게 변할까? 언어 간 거리에 따라 달라지는가?
• RQ5 합성된 코드 스위칭 데이터는 특히 거리가 먼 언어 간 정렬을 향상시킬 수 있는가?

주요 결과

• 다국어 인코더의 상위 레이어에서의 파라미터 공유가 다국어 표현 학습의 주요 원동력이며, 언어 간 서브워드를 공유하지 않더라도 성능이 유지된다.
• 공유된 어휘나 도메인 유사성이 없더라도 다국어 간 전이가 효과적으로 이루어지며, 이는 공유된 파라미터만으로도 표현의 의미 있는 정렬이 가능하다는 것을 시사한다.
• 서로 다른 언어에서 훈련된 단국어 BERT 모델들은 높은 구조적 유사성을 보이며, 선형 매핑을 통해 강력한 정렬 성능을 보였다 — 병행 문장 검색에서 10,000개의 병행 문장으로 90% 이상의 정확도를 달성하였다.
• 다국어 BERT 모델의 초기 레이어는 후속 레이어보다 언어 간 CKA 유사도가 더 높으며, 이는 저수준 특징이 더 보편적으로 공유된다는 것을 시사한다.
• CKA 유사도는 정렬 성능과 강하게 상관되며(r > 0.9), 이는 신경망 유사도 측정법이 다국어 간 전이 효과를 신뢰성 있게 예측할 수 있음을 확인한다.
• 언어 간 거리가 클수록 단국어 모델과 이국어 모델 간 유사도 격차가 줄어들며, 이는 언어 간 어휘적 거리가 클수록 공동 훈련의 이점이 줄어든다는 것을 의미한다.