[論文レビュー] Can Multilingual Language Models Transfer to an Unseen Dialect? A Case Study on North African Arabizi

Benjamin Müller, Benoît Sagot+1 more|arXiv (Cornell University)|May 1, 2020

Natural Language Processing Techniques被引用数 8

ひとこと要約

この論文は、多言語 BERT (mBERT) が、低リソースで非標準的かつコードミックスなアラビア語の方言・ノースアフリカ・アラビジ（Narabizi）へゼロショットで転移可能かどうかを調査する。mBERT は Narabizi の事前学習を受けていないが、品詞タギング（81.60 F1）と依存構文解析（66.84 UAS）で強力なゼロショット性能を達成しており、教師なし微調整によりさらに性能が向上する。これは、文字体系や関係のない言語（例：マルタ語）でさえも、強力なクロスリンガウル転移を示している。

ABSTRACT

Building natural language processing systems for non standardized and low resource languages is a difficult challenge. The recent success of large-scale multilingual pretrained language models provides new modeling tools to tackle this. In this work, we study the ability of multilingual language models to process an unseen dialect. We take user generated North-African Arabic as our case study, a resource-poor dialectal variety of Arabic with frequent code-mixing with French and written in Arabizi, a non-standardized transliteration of Arabic to Latin script. Focusing on two tasks, part-of-speech tagging and dependency parsing, we show in zero-shot and unsupervised adaptation scenarios that multilingual language models are able to transfer to such an unseen dialect, specifically in two extreme cases: (i) across scripts, using Modern Standard Arabic as a source language, and (ii) from a distantly related language, unseen during pretraining, namely Maltese. Our results constitute the first successful transfer experiments on this dialect, paving thus the way for the development of an NLP ecosystem for resource-scarce, non-standardized and highly variable vernacular languages.

研究の動機と目的

• 多言語言語モデルが、低リソースで非標準的な方言（例：ノースアフリカ・アラビジ）へゼロショット転移可能かどうかを調査すること。
• 最も近い標準語（現代標準アラビア語）がアラビア文字を使用するのに対し、方言がラテン文字で書かれるという課題に対処すること。
• mBERT の事前学習コーパスに存在しない言語（例：マルタ語）をソース言語として使用した場合の転移性能を検討すること。
• 教師なし微調整が、非常に変動が大きく、頻繁にコードスイッチを行う方言データへのクロスリンガウル転移に与える影響を評価すること。
• 多言語事前学習が、未学習でリソースが乏しい口語的変種へも転移可能であることを示すこと。

提案手法

• mBERT（104言語で事前学習された多言語 BERT モデル）を、ターゲットデータへの微調整なしに、Narabizi へゼロショット転移に使用する。
• mBERT を、Narabizi の生テキストに対してマスクされた言語モデル（MLM）目的関数を用いて教師なし微調整することで、ターゲット方言に適応させる。
• Narabizi 樹形図コーパスと生コーパスを用いて、品詞タギングと依存構文解析の2つの NLP タスクの訓練と評価を実施する。
• モダーン・スタンダード・アラビア語（MSA）、フランス語、英語、マルタ語、ベトナム語など、複数のソース言語での性能を比較する。
• mBERT と RoBERTa、CamemBERT、およびランダム初期化された Transformer を比較するアブレーションスタディを実施し、多言語事前学習の役割を特定する。
• 統計的堅牢性を確保するため、5つの異なるシードを用いて訓練と評価を実施し、平均化された性能指標を報告する。

実験結果

リサーチクエスチョン

• RQ1 mBERT は、事前学習コーパスに存在しない NARABIZI へゼロショットクロスリンガウル転移を実行可能か？
• RQ2 ソース言語が関係がなかったり、異なる文字体系を使用していたりする場合でも、教師なし微調整は NARABIZI への転移性能を向上させるか？
• RQ3 標準化されていないスペルで頻繁にフランス語とコードスイッチを行う方言であっても、mBERT は効果的に転移可能か？
• RQ4 mBERT が NARABIZI へ転移に成功するのは、多言語事前学習のおかげであり、単言語またはランダム初期化モデルでも同様の性能が得られるのか？
• RQ5 ソース言語が NARABIZI と関係がある（例：MSA）場合と、関係のない（例：マルタ語）場合とで、転移性能にどのような差が生じるか？

主な発見

• mBERT は、Narabizi に対してゼロショット品詞タギングで 81.60 F1、依存構文解析で 66.84 UAS を達成し、方言の事前学習が全くないにもかかわらず、強力なゼロショット転移を示している。
• マスクされた言語モデル（MLM）目的関数を用いた教師なし微調整により、品詞タギング F1 は 82.61 に、UAS は 67.12 に向上し、両タスクで顕著な向上が確認された。
• pretraining 時に存在しなかったマルタ語で微調整した mBERT が、最も高い性能（品詞タギング 38.94 F1、依存構文解析 42.32 UAS）を示し、ゼロショット設定で StanfordNLP をそれぞれ 5 点と 6 点上回った。
• mBERT は、RoBERTa や CamemBERT、およびランダム初期化モデルよりも、Narabizi へのゼロショット転移で顕著に優れており、多言語事前学習が成功の鍵であることを裏付けている。
• mBERT はクロススクリプト転移を効果的に処理でき、MSA（アラビア文字）から微調整した場合でも、Narabizi（ラテン文字）を正しく処理できることから、強力なクロススクリプト表現学習が可能であることが示された。
• 教師なし微調整により、Narabizi とフランス語の語彙的ギャップが埋まり、フランス語から微調整した場合、品詞タギングで +14.2 ポイントの向上が見られ、コードミックスパターンへの適応が有効であることが示された。