[论文解读] FinEst BERT and CroSloEngual BERT: less is more in multilingual models

Matej Ulčar, Marko Robnik‐Šikonja|arXiv (Cornell University)|Jun 14, 2020

Topic Modeling参考文献 12被引用 6

一句话总结

本文提出了 FinEst BERT 和 CroSloEngual BERT——基于 BERT 的三语模型，分别适用于芬兰语、爱沙尼亚语、英语以及克罗地亚语、斯洛文尼亚语、英语。通过聚焦于包含英语在内的三种语言以实现跨语言迁移，这些模型在单语和跨语言设置下的命名实体识别（NER）、词性标注（POS tagging）和依存句法分析任务中均优于 mBERT 和 XLM-R，证明了较小规模、针对性更强的多语言模型在性能上优于更大规模、广泛覆盖的多语言模型。

ABSTRACT

Large pretrained masked language models have become state-of-the-art solutions for many NLP problems. The research has been mostly focused on English language, though. While massively multilingual models exist, studies have shown that monolingual models produce much better results. We train two trilingual BERT-like models, one for Finnish, Estonian, and English, the other for Croatian, Slovenian, and English. We evaluate their performance on several downstream tasks, NER, POS-tagging, and dependency parsing, using the multilingual BERT and XLM-R as baselines. The newly created FinEst BERT and CroSloEngual BERT improve the results on all tasks in most monolingual and cross-lingual situations

研究动机与目标

• 通过为语系相近的语言对（包括英语）训练专用的多语言 BERT 模型，提升低资源 NLP 任务的性能。
• 探究在多语言 BERT 模型中减少语言数量是否能通过改善语言表征而提升低资源语言的性能。
• 通过在三语模型中引入英语作为桥梁语言，实现有效的跨语言迁移。
• 为芬兰语、爱沙尼亚语、克罗地亚语和斯洛文尼亚语创建公开可用、高质量的多语言模型。
• 在单语和跨语言设置下，通过命名实体识别（NER）、词性标注（POS tagging）和依存句法分析等下游任务评估模型性能。

提出的方法

• 在每种目标语言的精选、去重单语语料库上，训练两个具有 12 层、768 隐层大小和 110M 参数的 BERT-base 模型。
• 使用每种语言的平衡子集（例如，FinEst 中爱沙尼亚语为 7500 万词符，CroSloEngual 中斯洛文尼亚语为 2800 万词符）构建子词（WordPiece）词汇表。
• 采用 Onion 去重工具，在句子和段落层级使用 9-gram 和 0.9 阈值以减少冗余。
• 采用完整词掩码和大小写敏感的分词方式，以保留语言学上的细微差异。
• 使用 Devlin 等人（2019）的超参数，先以序列长度 128 训练约 40 个周期，再以更长序列训练约 4 个周期。
• 使用 UPOS 准确率、UAS 和 LAS 分数，将模型在 NER、POS 标注和依存句法分析任务上的性能与 mBERT 和 XLM-R 基线进行对比评估。

实验结果

研究问题

• RQ1 是否可以在包含两种语系相近的低资源语言及英语的三语 BERT 模型中，实现对 mBERT 等更大规模、广泛多语言模型的下游 NLP 任务性能超越？
• RQ2 是否由于语言表征的改善，减少多语言 BERT 模型中的语言数量能提升低资源语言的性能？
• RQ3 在相关低资源语言的三语模型中，通过引入英语作为桥梁语言，能在多大程度上增强跨语言迁移能力？
• RQ4 FinEst BERT 和 CroSloEngual BERT 在单语和跨语言设置下，相较于 mBERT，在 NER、POS 标注和依存句法分析任务中的表现如何？
• RQ5 当训练语言数量减少，尤其是包含英语以支持迁移学习时，是否存在性能上的权衡？

主要发现

• 在单语设置下，FinEst BERT 在芬兰语和爱沙尼亚语的所有 NER 任务中均优于 mBERT，其中芬兰语提升 1.1%，爱沙尼亚语提升 0.6%。
• 在单语评估中，CroSloEngual BERT 在斯洛文尼亚语 NER 上较 mBERT 提升 0.4%，在克罗地亚语 NER 上提升 0.8%。
• 在词性标注任务中，FinEst BERT 相较于 mBERT 在芬兰语上提升 2.6%，在爱沙尼亚语上也提升 2.6%，当在芬兰语上训练时，英语的性能也提升了 1.2%。
• 在依存句法分析中，FinEst BERT 在芬兰语上 LAS 提升 3.5%，在爱沙尼亚语上提升 2.9%，当在芬兰语上训练时，英语的 LAS 也提升了 4.3%。
• CroSloEngual BERT 在斯洛文尼亚语上 LAS 提升 2.5%，在克罗地亚语上提升 1.9%，当在斯洛文尼亚语上训练时，英语的 LAS 提升 4.6%。
• 仅当在英语上训练并在克罗地亚语上测试依存句法分析时，mBERT 才优于 CroSloEngual BERT，表明存在特定语言的性能差距。