[논문 리뷰] CINO: A Chinese Minority Pre-trained Language Model

Ziqing Yang, Zihang Xu외 5명|arXiv (Cornell University)|2022. 02. 28.

Natural Language Processing Techniques인용 수 9

한 줄 요약

CINO는 표준 중국어, 야우어, 티베트어, 몽골어, 우이구르어, 카자흐어, 그리고 Zhuang어를 포함한 중국 少수민족 언어를 위한 다국어 사전 훈련 언어 모델이다. CINO는 마스크된 언어 모델링 목적함수를 사용한 다국어 사전 훈련을 통해 저자원 소수민족 언어에서의 제로샷 교차언어 전이 성능을 향상시켜, WCM 및 CMNews 데이터셋에서 XLM-R 및 기타 베이스라인 모델을 뛰어넘는 성과를 보였다. 특히 티베트어나 우이구르어와 같이 표현이 부족한 언어에서 뚜렷한 향상을 보였다.

ABSTRACT

Multilingual pre-trained language models have shown impressive performance on cross-lingual tasks. It greatly facilitates the applications of natural language processing on low-resource languages. However, there are still some languages that the current multilingual models do not perform well on. In this paper, we propose CINO (Chinese Minority Pre-trained Language Model), a multilingual pre-trained language model for Chinese minority languages. It covers Standard Chinese, Yue Chinese, and six other ethnic minority languages. To evaluate the cross-lingual ability of the multilingual model on ethnic minority languages, we collect documents from Wikipedia and news websites, and construct two text classification datasets, WCM (Wiki-Chinese-Minority) and CMNews (Chinese-Minority-News). We show that CINO notably outperforms the baselines on various classification tasks. The CINO model and the datasets are publicly available at http://cino.hfl-rc.com.

연구 동기 및 목표

• 저자원 중국 소수민족 언어, 예를 들어 티베트어, 우이구르어, 몽골어 등에 대한 효과적인 다국어 사전 훈련 모델의 부족 문제를 해결하기 위해.
• 고자원 언어를 초월해 저자원 언어로의 다국어 사전 훈련을 확장함으로써, 표현이 부족한 소수민족 언어에서의 교차언어 전이 성능을 향상시키기 위해.
• 중국 소수민족 언어에서 제로샷 교차언어 능력을 평가하기 위해, 위키피디아에서 유래한 WCM(10개 클래스, 63,000개 예제)과 뉴스 자료에서 유래한 CMNews(8개 클래스, 57,000개 예제)라는 두 개의 다국어 텍스트 분류 데이터셋을 구축하고 공개하기 위해.
• 다양하고 저자원 언어를 포함한 다국어 사전 훈련이 단일 언어나 고자원 언어에 치우친 모델보다 더 나은 성능을 내는지 입증하기 위해.

제안 방법

• CINO는 XLM-R 아키텍처를 기반으로 하지만, 중국 소수민족 언어, 특히 라틴 알파벳 외의 문자를 사용하는 언어를 지원하기 위해 어휘 크기를 재조정하였다.
• 모델은 다국어 효율성을 고려해 조정된 마스크된 언어 모델링(MLM) 목적함수를 사용하여 사전 훈련하며, 계산 비용을 절감한다.
• 사전 훈련 데이터는 위키피디아와 뉴스 웹사이트에서 수집되었으며, 기존 코퍼스에서 표현이 부족한 저자원 언어인 티베트어와 우이구르어에 중점을 두었다.
• 모델은 한 언어에서 훈련하고 다른 언어에서 평가하는 제로샷 교차언어 전이 설정을 사용하여 다국어 텍스트 분류 작업에 피지컬 트레이닝을 수행한다.
• 성능 평가는 다수의 언어에서 매크로-F1 점수를 사용하며, 모델 선택은 원본 언어에서 검증 성능에 기반한다.
• 제로샷 평가를 위해 중국 소수민족 언어에서의 성능을 평가하기 위해, WCM(10개 클래스, 63,000개 예제)과 CMNews(8개 클래스, 57,000개 예제)라는 두 가지 벤치마크 데이터셋을 구축하였다.

실험 결과

연구 질문

• RQ1 다국어 사전 훈련 언어 모델이 저자원 중국 소수민족 언어에서 제로샷 교차언어 전이 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 티베트어, 우이구르어, 몽골어와 같이 표현이 부족한 언어에서 CINO는 XLM-R 및 XLM-R-Ext와 같은 기존 다국어 모델보다 어떻게 비교되는가?
• RQ3 기존 모델에서 고자원 언어에 치우친 것과 비교해, 다양한 저자원 소수민족 언어에서의 사전 훈련이 성능 향상에 얼마나 기여하는가?
• RQ4 CINO의 다국어 아키텍처는 중국어와 같은 고자원 언어에서 저자원 소수민족 언어로 지식 전이를 더 잘 가능하게 하는가?
• RQ5 우이구르어와 같은 저자원 언어에서 성능 변동성의 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• CINO-base는 WCM 데이터셋의 모든 소수민족 언어에서 XLM-R-base를 능가했으며, 특히 XLM-R에서 지원이 부족한 티베트어, 카자흐어, 우이구르어에서 가장 큰 성과를 보였다.
• CMNews 데이터셋에서는 CINO-large가 대부분의 소수민족 언어에서 XLM-R-large를 뛰어넘는 성능을 보였으며, 소수민족 언어 데이터로 피지컬 트레이닝을 한 후 효과적인 다국어 전이가 이루어졌음을 시사한다.
• CINO는 WCM에서 뛰어난 제로샷 교차언어 성능을 보였으며, 소수민족 언어의 평균 매크로-F1 점수가 XLM-R를 상당한 격차로 뛰어넘었다.
• CINO는 WCM 데이터셋에서 소수민족 언어에 대해 매크로-F1 점수 68.7을 기록했으며, XLM-R-base(59.2)와 XLM-R-large-Ext(63.1)를 모두 능가했다. 이는 중국어에서의 강력한 제로샷 전이 능력을 시사한다.
• YNAT 한국어 텍스트 분류 벤치마크에서 CINO-large는 KLUE-BERT-base와 유사한 성능을 보였으며, XLM-R-large의 재현 결과를 뛰어넘었다. 이는 한국어가 XLM-R에서 잘 표현된 언어임에도 불구하고 성능 향상이 이루어졌음을 의미한다.
• 우이구르어에서의 성능는 런에 따라 높은 변동성을 보였으며, 이는 저자원 피지컬 트레이닝에서의 불안정성 때문일 수 있다. 이는 CINO-large의 평균 점수가 XLM-R-large보다 낮지만, 최고 성능는 더 높은 이유를 설명한다.