[论文解读] Are All Languages Created Equal in Multilingual BERT?

Shijie Wu, Mark Dredze|arXiv (Cornell University)|May 18, 2020

Topic Modeling参考文献 29被引用 16

一句话总结

本文研究了多语言 BERT（mBERT）在其训练的 104 种语言中是否均能学习到同等高质量的表示。通过在 99 种和 54 种语言上分别进行命名实体识别（NER）、词性标注（POS）和依存句法分析，发现 mBERT 在低资源语言上的表现显著低于非 BERT 基线模型，且即使采用相同架构，这些语言的单语 BERT 模型表现更差。将低资源语言与语言上相关的语言配对可提升性能，但仍不及 mBERT，表明多语言预训练为低资源语言提供了关键的归纳偏置。

ABSTRACT

Multilingual BERT (mBERT) trained on 104 languages has shown surprisingly good cross-lingual performance on several NLP tasks, even without explicit cross-lingual signals. However, these evaluations have focused on cross-lingual transfer with high-resource languages, covering only a third of the languages covered by mBERT. We explore how mBERT performs on a much wider set of languages, focusing on the quality of representation for low-resource languages, measured by within-language performance. We consider three tasks: Named Entity Recognition (99 languages), Part-of-speech Tagging, and Dependency Parsing (54 languages each). mBERT does better than or comparable to baselines on high resource languages but does much worse for low resource languages. Furthermore, monolingual BERT models for these languages do even worse. Paired with similar languages, the performance gap between monolingual BERT and mBERT can be narrowed. We find that better models for low resource languages require more efficient pretraining techniques or more data.

研究动机与目标

• 评估 mBERT 在涵盖 104 种语言的广泛语料上的零样本跨语言迁移性能，特别是低资源语言，超越以往集中于高资源语言的研究。
• 将 mBERT 在低资源语言上的表现与在相同数据上训练的单语 BERT 模型进行比较，以隔离性能差是由模型架构还是数据稀缺所致。
• 探究将低资源语言与语言上相关的语言配对是否能提升表示质量，作为单语与大规模多语言训练之间的折中方案。
• 确定低资源语言性能差距是否源于数据不平衡、子词分布偏差，或多语言预训练固有的局限性。

提出的方法

• 在 99、54 和 54 种语言上分别对 mBERT 进行命名实体识别（NER）、词性标注（POS）和依存句法分析的微调，采用标准下游评估协议。
• 在与 mBERT 相同的低资源语言语料上训练单语 BERT 模型，使用相同的超参数以隔离多语言预训练的影响。
• 通过在低资源语言及其语言上相关的高资源对应语言对（如拉脱维亚语–立陶宛语、南非语–荷兰语）上联合预训练，构建双语 BERT 模型。
• 采用受控的预训练设置，固定批量大小和序列长度，仅改变词汇表大小和序列长度，以评估效率权衡。
• 通过标准指标衡量性能：NER 使用 F1，POS 和依存句法分析使用准确率，并通过完形填空任务开发困惑度监控训练动态。
• 分析子词分布和跨语言的词汇重叠，以评估 mBERT 预训练信号中潜在的偏差。

实验结果

研究问题

• RQ1 mBERT 在其训练的全部 104 种语言中是否均实现了同等高质量的表示？低资源语言是否受到不成比例的影响？
• RQ2 单语 BERT 在低资源语言上的表现与 mBERT 相比如何？这是否表明多语言预训练提供了关键的归纳偏置？
• RQ3 将低资源语言与语言上相关的语言配对能否提升表示质量？该方法在多大程度上缩小了与 mBERT 的差距？
• RQ4 mBERT 在低资源语言上表现不佳的原因是数据不足、子词分布偏差，还是联合多语言预训练固有的局限性？

主要发现

• mBERT 在预训练资源最低的前 30% 语言上的表现显著差于非 BERT 基线模型，部分低资源语言的 F1 分数甚至低于随机基线模型。
• 在与 mBERT 相同的低资源语料上训练的单语 BERT 模型，在测试的四种低资源语言（蒙古语、约鲁巴语、拉脱维亚语、南非语）上均表现差于 mBERT，表明多语言预训练提供了不可或缺的归纳偏置。
• 在低资源语言与相关高资源语言对（如南非语–荷兰语）上联合训练的双语 BERT 模型优于单语 BERT 模型，但仍逊于 mBERT，表明 mBERT 的多语言归纳偏置强于成对联合训练。
• 单语 BERT 在低资源语言上的表现与训练动态相关：当完形填空任务的开发困惑度过早趋于平稳时，下游性能也停滞不前，表明存在数据稀缺和过拟合问题。
• 对于资源较多的语言（如拉脱维亚语和南非语），持续预训练可提升性能，表明更长的训练时间与更大的批量大小可进一步增强单语 BERT 模型，但受限于数据量，低资源语言无法实现此目标。
• 在低资源语言上，参数更少、序列长度更短但批量更大的小型 BERT 模型表现优于大型模型，表明在低资源场景下，数据效率比模型大小更为关键。