[논문 리뷰] A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT

Chi-Liang Liu, Tsung-Yuan Hsu외 2명|arXiv (Cornell University)|2020. 04. 20.

Topic Modeling참고 문헌 26인용 수 9

한 줄 요약

이 논문은 다국어 BERT(m-BERT)에서의 다국어 간 전이를 조사하며, 대규모 사전 훈련 데이터와 긴 컨텍스트 창이 다국어 간 정렬에 핵심적임을 입증한다. 본 연구는 계산적으로 효율적인 단순한 방법인 평균 차이 이동(MDS)을 제안하여 언어별 표현을 분리하고, 미세조정 없이 제로샷 다국어 간 전이 성능을 향상시키며, 잠재 표현을 조작하여 무 supervision 토큰 번역을 실현한다.

ABSTRACT

Recently, multilingual BERT works remarkably well on cross-lingual transfer tasks, superior to static non-contextualized word embeddings. In this work, we provide an in-depth experimental study to supplement the existing literature of cross-lingual ability. We compare the cross-lingual ability of non-contextualized and contextualized representation model with the same data. We found that datasize and context window size are crucial factors to the transferability. We also observe the language-specific information in multilingual BERT. By manipulating the latent representations, we can control the output languages of multilingual BERT, and achieve unsupervised token translation. We further show that based on the observation, there is a computationally cheap but effective approach to improve the cross-lingual ability of multilingual BERT.

연구 동기 및 목표

• m-BERT의 다국어 간 전이 성능에 있어 데이터 크기와 컨텍스트 창 길이의 역할을 이해하는 것.
• m-BERT의 잠재 표현에 비록 다국어 간 능력이 있음에도 불구하고 언어별 정보가 얼마나 유지되는지 조사하는 것.
• 잠재 표현을 조작하여 m-BERT의 출력 언어를 제어하는 방법을 개발하는 것.
• 언어별 표현 분리 기법을 통해 제로샷 다국어 간 전이 성능을 향상시키는 것.
• 간단하고 효율적인 방법이 추가 훈련이나 병렬 데이터 없이도 m-BERT의 다국어 간 전이 성능을 향상시킬 수 있음을 입증하는 것.

제안 방법

• 동일한 훈련 데이터를 사용하여 m-BERT의 다국어 간 전이 성능를 비컨텍스트 워드 임베딩과 비교하였다.
• 훈련 데이터 크기와 컨텍스트 창 길이의 변화가 다국어 간 정렬 및 전이 가능성에 미치는 영향을 평가하였다.
• 평균 차이 이동(MDS)을 제안하였으며, 이는 모든 히든 표현에 고정된 언어별 벡터를 더하여 출력 언어를 제어하는 기법이다.
• 언어별 정보가 가장 두드러지게 드러나는 m-BERT의 마지막 몇 층에 MDS를 적용하여 제로샷 전이 성능을 향상시켰다.
• MDS를 사용하여 표현을 이동시켜 목표 언어의 의미와 정렬함으로써 무 supervision 토큰 번역을 가능하게 하였다.
• 초기 층은 동결한 채 영어 XNLI 데이터로 m-BERT를 미세조정한 후, 최종 분류층 이전의 히든 상태에 MDS를 적용하였다.

실험 결과

연구 질문

• RQ1 데이터 크기와 컨텍스트 창 길이는 m-BERT의 다국어 간 전이 성능에 어떻게 영향을 미치는가?
• RQ2 m-BERT의 잠재 표현에 언어별 정보가 얼마나 유지되는가?
• RQ3 언어별 표현을 고립하고 조작하여 m-BERT의 출력 언어를 제어할 수 있는가?
• RQ4 MDS와 같은 단순하고 파rameter-free한 방법이 m-BERT의 제로샷 다국어 간 전이 성능을 향상시킬 수 있는가?
• RQ5 MDS는 추가 훈련 없이도 XNLI와 같은 다국어 간 작업에서 성능을 향상시키는가?

주요 결과

• 더 큰 훈련 데이터와 더 긴 컨텍스트 창은 m-BERT의 다국어 간 정렬 및 전이 성능를 크게 향상시킨다.
• 언어별 정보는 m-BERT의 표현에 그대로 유지되어 있으며, 특히 마지막 층에서 두드러지게 나타나 MDS를 통해 출력 언어 제어가 가능하다.
• 마지막 몇 층에 α=3.0의 이동 가중치를 적용한 MDS는 대부분의 언어에서 무 supervision 번역의 BLEU-1 점수를 향상시켰으며, 특히 10번째와 11번째 층에서 두드러진 성능 향상을 보였다.
• XNLI 테스트 세트에서 최적의 α 값을 각 언어별로 사용할 경우, 평균 정확도를 58.00%에서 62.24%로 향상시켰으며, 스페인어와 프랑스어를 제외한 대부분의 언어에서 성능 향상을 관찰하였다.
• MDS의 성능 향상은 마지막 몇 층에 적용했을 때 가장 효과적이었으며, 이는 이러한 층들이 더 많은 언어별 정보를 포함한다는 이전 연구 결과와 일치한다.
• 스페인어와 프랑스어에 대해서는 MDS가 성능 향상을 이끌지 못했으며, 이는 영어와 높은 서브워드 겹침을 보였기 때문일 것으로 추정되며, 이는 더 세밀한 어휘 인식 기반의 이동 메커니즘이 필요할 수 있음을 시사한다.