[論文レビュー] CINO: A Chinese Minority Pre-trained Language Model

Ziqing Yang, Zihang Xu+5 more|arXiv (Cornell University)|Feb 28, 2022

Natural Language Processing Techniques被引用数 9

ひとこと要約

CINO は、標準中国語、広東語、チベット語、モンゴル語、ウイグル語、カザフ語、ズァン語を含む中国少数民族言語を対象とした多言語事前学習言語モデルである。CINO はマスク言語モデル化の目的関数を用いた多言語事前学習により、リソースが乏しい民族言語におけるゼロショットクロスリンガル転送性能を向上させ、WCM および CMNews データセットにおいて XLM-R や他のベースラインを上回り、チベット語 や ウイグル語 などの代表が不足している言語で顕著な向上を示した。

ABSTRACT

Multilingual pre-trained language models have shown impressive performance on cross-lingual tasks. It greatly facilitates the applications of natural language processing on low-resource languages. However, there are still some languages that the current multilingual models do not perform well on. In this paper, we propose CINO (Chinese Minority Pre-trained Language Model), a multilingual pre-trained language model for Chinese minority languages. It covers Standard Chinese, Yue Chinese, and six other ethnic minority languages. To evaluate the cross-lingual ability of the multilingual model on ethnic minority languages, we collect documents from Wikipedia and news websites, and construct two text classification datasets, WCM (Wiki-Chinese-Minority) and CMNews (Chinese-Minority-News). We show that CINO notably outperforms the baselines on various classification tasks. The CINO model and the datasets are publicly available at http://cino.hfl-rc.com.

研究の動機と目的

• リソースが乏しい中国少数民族言語（チベット語、ウイグル語、モンゴル語など）における有効な多言語事前学習モデルの不足に対処すること。
• 高リソース言語に偏らない多言語事前学習を拡張することで、代表が不足している民族言語におけるクロスリンガル転送性能を向上させること。
• 中国少数民族言語におけるゼロショットクロスリンガル能力を評価するために、WCM（Wikipedia から作成）および CMNews（ニュースソースから作成）の2つの多言語テキスト分類データセットを構築・公開すること。
• 多様でリソースが乏しい言語にわたる多言語事前学習が、単言語モデルや高リソース言語に偏ったモデルよりも優れた性能を発揮することを示すこと。

提案手法

• CINO は XLM-R アーキテクチャを基盤としているが、中国少数民族言語（ラテン文字以外の script を使用する言語を含む）をサポートするために語彙を再調整した。
• モデルは、多言語効率性を高めるために調整されたマスク言語モデル化（MLM）目的関数を用いて事前学習され、計算コストを低減した。
• 事前学習データは Wikipedia やニュースウェブサイトから収集され、既存のコーパスに代表が不足しているリソースが乏しい言語（チベット語 や ウイグル語 など）に重点を置いた。
• モデルは、ある言語で学習し、他の言語で評価するゼロショットクロスリンガル転送設定で、多言語テキスト分類タスクに微調整された。
• 性能は複数の言語におけるマクロ-F1スコアで評価され、モデル選択はソース言語のバリデーション性能に基づいた。
• 中国少数民族言語におけるゼロショット評価のため、2つのベンチマークデータセット（WCM：10クラス、63,000例；CMNews：8クラス、57,000例）が構築された。

実験結果

リサーチクエスチョン

• RQ1 多言語事前学習言語モデルは、リソースが乏しい中国少数民族言語におけるゼロショットクロスリンガル転送性能を顕著に向上させることができるか？
• RQ2 CINO は、チベット語、ウイグル語、モンゴル語などの代表が不足している言語において、XLM-R や XLM-R-Ext などの既存の多言語モデルと比べてどのように差をつけるか？
• RQ3 既存のモデルが高リソース言語に偏るのとは対照的に、多様でリソースが乏しい少数民族言語にわたる事前学習が、性能向上にどの程度寄与するか？
• RQ4 CINO の多言語アーキテクチャは、中国語などの高リソース言語からリソースが乏しい少数民族言語への知識転送をより効果的に可能にするか？
• RQ5 ウイグル語 などのリソースが乏しい言語における性能のばらつきの要因は何か、そしてそれらはどのように緩和できるか？

主な発見

• CINO-base は WCM データセットのすべての少数民族言語で XLM-R-base を上回り、チベット語、カザフ語、ウイグル語 で最も顕著な向上が見られた。これらは XLM-R で十分にサポートされていなかった。
• CMNews データセットでは、CINO-large が大多数の少数民族言語で XLM-R-large を上回った。これは、少数民族言語データで微調整された際の効果的な多言語転送を示している。
• CINO は WCM におけるゼロショットクロスリンガル性能が優れており、少数民族言語の平均マクロ-F1 スコアが XLM-R を大きく上回った。
• CINO は WCM データセットにおける少数民族言語でマクロ-F1 68.7 を達成し、XLM-R-base（59.2）および XLM-R-large-Ext（63.1）を上回った。中国語からのゼロショット転送が顕著に優れていた。
• YNAT コリア語テキスト分類ベンチマークでは、CINO-large は KLUE-BERT-base と同等の性能を示し、XLM-R-large の再実装を上回った。これは、コリア語が XLM-R に十分に含まれているにもかかわらずである。
• ウイグル語 における性能はランダムに大きくばらつきを示しており、リソースが乏しい微調整における不安定性を示唆しており、CINO-large の平均スコアが XLM-R-large よりも低いのは、そのピークスコアが高いにもかかわらず、その要因である可能性がある。