[论文解读] Can Multilingual Language Models Transfer to an Unseen Dialect? A Case Study on North African Arabizi

Benjamin Müller, Benoît Sagot+1 more|arXiv (Cornell University)|May 1, 2020

Natural Language Processing Techniques被引用 8

一句话总结

本文研究了多语言 BERT（mBERT）是否能零样本迁移至北非阿拉伯语——一种低资源、非标准化、混合使用拉丁字母书写的方言。尽管 mBERT 在预训练中未包含北非阿拉伯语，其在词性标注（81.60 F1）和依存句法分析（66.84 UAS）任务上仍表现出强劲的零样本性能，且通过无监督微调进一步提升了结果，表明即使在不同书写系统之间，甚至在处理与原始语言无关的未见语言（如马耳他语）时，mBERT 仍具备强大的跨语言迁移能力。

ABSTRACT

Building natural language processing systems for non standardized and low resource languages is a difficult challenge. The recent success of large-scale multilingual pretrained language models provides new modeling tools to tackle this. In this work, we study the ability of multilingual language models to process an unseen dialect. We take user generated North-African Arabic as our case study, a resource-poor dialectal variety of Arabic with frequent code-mixing with French and written in Arabizi, a non-standardized transliteration of Arabic to Latin script. Focusing on two tasks, part-of-speech tagging and dependency parsing, we show in zero-shot and unsupervised adaptation scenarios that multilingual language models are able to transfer to such an unseen dialect, specifically in two extreme cases: (i) across scripts, using Modern Standard Arabic as a source language, and (ii) from a distantly related language, unseen during pretraining, namely Maltese. Our results constitute the first successful transfer experiments on this dialect, paving thus the way for the development of an NLP ecosystem for resource-scarce, non-standardized and highly variable vernacular languages.

研究动机与目标

• 调查多语言语言模型是否能对北非阿拉伯语这类低资源、非标准化方言实现零样本迁移。
• 解决当最近似的标准语言（现代标准阿拉伯语）使用阿拉伯字母书写时，如何处理使用拉丁字母书写的方言的挑战。
• 考察当源语言与北非阿拉伯语无关（如未出现在 mBERT 预训练语料中的马耳他语）时的迁移性能。
• 评估无监督微调对高度可变、频繁混用语言的方言数据跨语言迁移的影响。
• 证明在多种语言上进行多语言预训练，可实现对未见、资源匮乏的口语变体的有效迁移。

提出的方法

• 使用 mBERT（在 104 种语言上预训练的多语言 BERT 模型）对北非阿拉伯语进行零样本迁移，且不对目标数据进行任何微调。
• 使用掩码语言建模（MLM）目标对原始北非阿拉伯语文本进行无监督微调，以使 mBERT 适应目标方言。
• 在两个 NLP 任务上进行训练与评估：使用北非阿拉伯语句法树库和原始语料进行词性（POS）标注与依存句法分析。
• 在多种源语言之间进行性能比较，包括现代标准阿拉伯语（MSA）、法语、英语、马耳他语和越南语。
• 通过将 mBERT 与 RoBERTa、CamemBERT 及随机初始化的 Transformer 模型进行对比，开展消融研究，以隔离多语言预训练的作用。
• 使用 5 个随机种子进行训练与评估，以确保统计稳健性，并报告平均性能指标。

实验结果

研究问题

• RQ1 mBERT 能否在未出现在其预训练语料中的情况下，对北非阿拉伯语实现零样本跨语言迁移？
• RQ2 当源语言无关或使用不同书写系统时，无监督微调是否能提升 mBERT 对北非阿拉伯语的迁移性能？
• RQ3 mBERT 能否有效迁移至一种高度可变且频繁与法语混用的方言，即使其拼写缺乏标准化？
• RQ4 mBERT 在北非阿拉伯语上成功迁移的原因是其多语言预训练，还是单语或随机初始化的模型也能达到类似表现？
• RQ5 当源语言与北非阿拉伯语相关（如 MSA）或无关（如马耳他语）时，迁移性能如何变化？

主要发现

• mBERT 在北非阿拉伯语上的零样本词性标注达到 81.60 F1，依存句法分析达到 66.84 UAS，表明即使未在该方言上预训练，其零样本迁移能力依然强劲。
• 通过掩码语言建模目标进行无监督微调后，词性标注 F1 提升至 82.61，UAS 提升至 67.12，两项任务均取得显著提升。
• 在马耳他语（预训练中未见）上微调的 mBERT 表现最佳（POS F1 为 38.94，UAS 为 42.32），在零样本设置下分别优于 StanfordNLP 5 和 6 个百分点。
• mBERT 在零样本迁移至北非阿拉伯语时显著优于 RoBERTa、CamemBERT 和随机初始化模型，证实多语言预训练是成功的关键。
• 模型有效处理了跨书写系统迁移，在从 MSA（使用阿拉伯字母）微调时，成功处理了使用拉丁字母书写的北非阿拉伯语，表明其具备稳健的跨书写系统表征学习能力。
• 无监督微调弥合了北非阿拉伯语与法语之间的词汇鸿沟，当从法语微调时，词性标注性能提升 +14.2 分，表明其能有效适应混用语言模式。