[论文解读] A Primer on Pretrained Multilingual Language Models

Sumanth Doddapaneni, G. Ramesh+3 more|arXiv (Cornell University)|Jul 1, 2021

Domain Adaptation and Few-Shot Learning被引用 43

一句话总结

对多语言语言模型（MLLMs）的综述，涵盖它们的架构、目标、数据、基准测试，以及与单语模型的比较性能，并探讨未来方向。

ABSTRACT

Multilingual Language Models (\MLLMs) such as mBERT, XLM, XLM-R, extit{etc.} have emerged as a viable option for bringing the power of pretraining to a large number of languages. Given their success in zero-shot transfer learning, there has emerged a large body of work in (i) building bigger \MLLMs~covering a large number of languages (ii) creating exhaustive benchmarks covering a wider variety of tasks and languages for evaluating \MLLMs~ (iii) analysing the performance of \MLLMs~on monolingual, zero-shot cross-lingual and bilingual tasks (iv) understanding the universal language patterns (if any) learnt by \MLLMs~ and (v) augmenting the (often) limited capacity of \MLLMs~ to improve their performance on seen or even unseen languages. In this survey, we review the existing literature covering the above broad areas of research pertaining to \MLLMs. Based on our survey, we recommend some promising directions of future research.

研究动机与目标

• 评估 MLLMs 的构建方式以及它们在不同模型之间的差异。
• 总结用于预训练的训练目标（单语言和并行）及数据来源。
• 调查用于跨语言和任务评估 MLLMs 的基准测试。
• 讨论 MLLMs 在特定语言和任务上是否优于单语言语言模型。
• 突出将 MLLMs 扩展到未见语言的方法并提出未来方向。

提出的方法

• 整理代表性 MLLMs 的架构及其配置（N, k, d, 参数）。
• 比较预训练目标：MLM、CLM、MRTD、TLM、CAMLM、CLMLM、XLCO、HICTL、CLSA 及相关方法。
• 描述单语言与并行目标的组合及它们的数据需求。
• 解释预训练数据选择和通过指数平滑进行语言采样以平衡语言暴露。
• 总结如 XGLUE、XTREME、XTREME-R 及 XGLUE 在各任务上的评估基准。
• 综合跨语言迁移、双语任务以及普遍模式假设的发现。

实验结果

研究问题

• RQ1 不同的 MLLMs 是如何构建的？它们彼此之间有何差异？
• RQ2 用于评估 MLLMs 的基准是什么？
• RQ3 在给定语言上，MLLMs 是否优于单语言 LM？
• RQ4 MLLMs 是否能够实现零样本跨语言迁移和双语任务？
• RQ5 MLLMs 是否揭示了普遍的语言模式，以及如何将它们扩展到新语言？

主要发现

• MLLMs 的架构、预训练数据、覆盖语言和词汇量各不相同；更大容量的模型通常在基准测试中表现更好。
• 跨语言迁移能力取决于共享词汇、表示对齐和数据规模等因素；没有任何单一模型在所有情景中都持续优于单语言 LM。
• 用于评估跨语言性能的基准包括 XGLUE、XTREME 和 XTREME-R，覆盖分类、结构预测、问答和检索任务。
• 已有证据表明零样本跨语言迁移和双语任务受益于 MLLMs，尤其是在低资源语言中，但普遍的中间语言模式尚未建立。
• 将 MLLMs 扩展到未见语言可以通过微调、适配器以及其他扩展方法来实现。