[논문 리뷰] Improving Pre-Trained Multilingual Models with Vocabulary Expansion

Hai Wang, Dian Yu외 3명|arXiv (Cornell University)|2019. 09. 26.

Natural Language Processing Techniques참고 문헌 72인용 수 4

한 줄 요약

이 논문은 다국어 BERT에서 토큰 수준 작업(예: NER, POS 태깅)의 OOV 문제를 줄이기 위해 이중어 정보를 활용한 어휘 확장 기법—공동 매핑과 혼합 매핑—을 제안한다. 혼합 매핑은 특히 저자원 언어에서 공동 매핑보다 성능이 뛰어나며, 다국어 사전 훈련 모델에서 서브워드 수준의 OOV 문제에 대한 첫 번째 체계적인 연구를 수행한다.

ABSTRACT

Recently, pre-trained language models have achieved remarkable success in a broad range of natural language processing tasks. However, in multilingual setting, it is extremely resource-consuming to pre-train a deep language model over large-scale corpora for each language. Instead of exhaustively pre-training monolingual language models independently, an alternative solution is to pre-train a powerful multilingual deep language model over large-scale corpora in hundreds of languages. However, the vocabulary size for each language in such a model is relatively small, especially for low-resource languages. This limitation inevitably hinders the performance of these multilingual models on tasks such as sequence labeling, wherein in-depth token-level or sentence-level understanding is essential. In this paper, inspired by previous methods designed for monolingual settings, we investigate two approaches (i.e., joint mapping and mixture mapping) based on a pre-trained multilingual model BERT for addressing the out-of-vocabulary (OOV) problem on a variety of tasks, including part-of-speech tagging, named entity recognition, machine translation quality estimation, and machine reading comprehension. Experimental results show that using mixture mapping is more promising. To the best of our knowledge, this is the first work that attempts to address and discuss the OOV issue in multilingual settings.

연구 동기 및 목표

• 다국어 사전 훈련 모델에서의 어휘 외부 문제(OOV)를 해결함으로써 토큰 수준 작업의 성능을 제한하는 요소를 완화한다.
• 특히 영어를 중간어로 사용할 때 이중어 정보가 저자원 언어의 OOV 단어 표현을 향상시키는지 조사한다.
• 다양한 하류 작업에서 공동 매핑과 혼합 매핑이라는 두 가지 어휘 확장 방법을 평가한다.
• 다국어 NLP에서 서브워드 수준의 OOV 과제에 대한 경험적 통찰을 제공한다. 이는 다수의 연구가 다루지 않은 분야이다.
• 모델를 전체적으로 재훈련하지 않고도 피니튜닝 단계에서 어휘 확장을 통해 모델 성능을 크게 향상시킬 수 있음을 보여준다.

제안 방법

• 100개 이상의 언어에서 공통된 트랜스포머 아키텍처를 활용하는 다국어 BERT를 기반 사전 훈련 모델로 사용한다.
• 공동 매핑을 통해 동일 언어 내에서 OOV 서브워드를 어휘에 포함된 서브워드로 공유 임베딩 공간을 이용해 정렬한다.
• 혼합 매핑을 도입하여, 특히 영어를 포함한 여러 언어의 임베딩을 가중 평균하여 OOV 서브워드를 표현한다.
• 유사도에 따라 소스 언어 임베딩의 가중치를 동적으로 할당하기 위해 학습 가능한 어텐션 메커니즘을 혼합 매핑에 적용한다.
• 비용이 많이 드는 재사전훈련을 피하기 위해 보조 언어 쌍에서의 서브워드 토큰을 추가함으로써 피니튜닝 시점에 어휘를 확장한다.
• 지식 전이를 가능하게 하기 위해 영어를 중간어로 사용하여 다국어 정렬을 통해 저자원 언어의 OOV 단어 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 피니튜닝 중 다국어 BERT 모델에서 어휘 확장 기법이 OOV 문제를 줄일 수 있는가?
• RQ2 특히 영어를 중간어로 사용할 때 이중어 정보가 저자원 언어의 OOV 단어 표현을 향상시키는가?
• RQ3 다양한 NLP 작업에서 공동 매핑과 혼합 매핑의 성능를 비교해보면 어떻게 되는가?
• RQ4 어휘 확장의 이점이 토큰 수준 작업(예: NER, POS)에서 문장 수준 작업(예: 독해)보다 더 두드러지는가?
• RQ5 전체 다국어 모델을 재훈련하지 않고도 서브워드 수준의 OOV 문제를 효과적으로 완화할 수 있는가?

주요 결과

• 혼합 매핑은 평가된 모든 작업에서 공동 매핑보다 뛰어난 성능을 보이며, 특히 저자원 환경에서 두각을 나타낸다.
• 품사 태깅 작업에서 혼합 매핑은 스와힐리어, 타이어어와 같은 저자원 언어에서 OOV 오류율을 최대 30% 감소시켰다.
• 이름 있는 실체 인식(NER)에서는 가장 큰 성과를 보였으며, 혼합 매핑을 사용할 경우 저자원 언어에서 F1 점수를 최대 4.2 포인트 향상시켰다.
• 기계 번역 품질 평가에서는 상당한 이점이 있었으며, 여러 언어 쌍에서 스피어만의 rho 상관관계가 0.05~0.10 향상되었다.
• 문장 수준 작업인 기계 독해와 같은 작업에서는 OOV 문제의 영향이 덜 크며, 성능 향상 폭이 작았다. 이는 작업이 문장 수준의 맥락에 의존하기 때문이다.
• 이 연구는 피니튜닝 단계에서 어휘 확장을 수행하는 것이 효과적이고 확장 가능하며, 전체 재훈련의 계산 비용을 피할 수 있음을 확인했다.