[论文解读] Evaluating Transferability of BERT Models on Uralic Languages

Judit Ács, Dániel Lévai+1 more|arXiv (Cornell University)|Sep 13, 2021

Natural Language Processing Techniques被引用 3

一句话总结

该论文在11种乌拉尔语系语言上评估了单语、多语及随机初始化的BERT模型，表明对高资源模型（尤其是mBERT和XLM-RoBERTa）进行极少任务特定数据的微调，即可在低资源乌拉尔语系语言的词性标注（POS）和命名实体识别（NER）任务中实现最先进性能。值得注意的是，当目标语言使用相同书写系统时，迁移能力表现稳健，即使这些语言在谱系上不相关。

ABSTRACT

Transformer-based language models such as BERT have outperformed previous models on a large number of English benchmarks, but their evaluation is often limited to English or a small number of well-resourced languages. In this work, we evaluate monolingual, multilingual, and randomly initialized language models from the BERT family on a variety of Uralic languages including Estonian, Finnish, Hungarian, Erzya, Moksha, Karelian, Livvi, Komi Permyak, Komi Zyrian, Northern S\'ami, and Skolt S\'ami. When monolingual models are available (currently only et, fi, hu), these perform better on their native language, but in general they transfer worse than multilingual models or models of genetically unrelated languages that share the same character set. Remarkably, straightforward transfer of high-resource models, even without special efforts toward hyperparameter optimization, yields what appear to be state of the art POS and NER tools for the minority Uralic languages where there is sufficient data for finetuning.

研究动机与目标

• 评估BERT模型在低资源乌拉尔语系语言（包括少数语言和资源匮乏语言）中的迁移能力。
• 探究在跨语言迁移设置中，单语模型是否优于多语模型。
• 评估共享拼写系统和字符集覆盖度在模型迁移性能中的作用。
• 确定语言亲缘性（遗传相似性）是否能提升形态学和序列标注任务中的迁移性能。
• 通过最少微调的预训练模型，为乌拉尔语系语言的POS和NER任务建立基线性能。

提出的方法

• 在11种乌拉尔语系语言的词性标注（POS）和命名实体识别（NER）任务上，微调了多语模型（mBERT、XLM-RoBERTa）、单语模型（EstBERT、FinBERT、HuBERT）以及随机初始化模型。
• 使用探测分类器从所有Transformer层的上下文表示中提取形态学信息，层权重在训练过程中学习得到。
• 使用标准数据集（UD和WikiAnn）在形态学探测、词性标注和NER任务上评估模型性能，性能指标为准确率和F1分数。
• 通过将一种语言上训练的模型应用于相关或无关的乌拉尔语系语言，测试跨语言迁移能力，包括谱系相近的语言对（如芬兰语与卡累利安语）。
• 采用子词分词方法，并确保西里尔字母和拉丁字母脚本的词汇覆盖，以支持跨语言迁移。
• 在未进行超参数调优的情况下比较各模型性能，重点关注零样本和少样本迁移能力。

实验结果

研究问题

• RQ1 多语BERT模型（如mBERT和XLM-RoBERTa）是否能在极少微调下于低资源乌拉尔语系语言的POS和NER任务中实现最先进性能？
• RQ2 在相关乌拉尔语系语言（如芬兰语对卡累利安语）上训练单语模型是否能优于多语模型？
• RQ3 共享书写系统或字符集（如拉丁字母与西里尔字母）在谱系上不相关的乌拉尔语系语言之间，对迁移性能的影响有多大？
• RQ4 与单语乌拉尔语系模型相比，基于英语的模型（EngBERT）在迁移到乌拉尔语系语言时表现如何？
• RQ5 在各自母语语言上，原生单语模型（如EstBERT）与多语模型之间是否存在显著性能差距？

主要发现

• 在形态学探测任务中，单语模型（EstBERT、FinBERT、HuBERT）在母语语言上的表现优于多语模型，但差异在统计上不显著。
• 在POS和NER任务中，多语模型（如XLM-RoBERTa和mBERT）在所有乌拉尔语系语言中均实现了最先进性能，即使仅进行极少微调。
• 从基于英语的EngBERT迁移到使用拉丁字母的匈牙利语，其性能优于从芬兰语或爱沙尼亚语单语模型迁移，表明书写系统兼容性比遗传亲缘性更重要。
• RuBERT（在俄语上训练）在使用西里尔字母的乌拉尔语系语言（如科米-兹里亚尼语和科米-彼尔姆语）上表现良好，表明在无亲缘关系但使用相同书写系统的语言间，跨语言迁移能力极强。
• 使用拉丁字母的北萨米语在使用rand-mBERT（mBERT的随机初始化版本）时实现了高NER性能，表明在黏着语中，拼写线索具有高度预测性。
• 尽管训练数据极少（如莫尔多瓦语仅164条训练句），XLM-RoBERTa等模型仍能实现有意义的性能，但当数据极度有限时（如埃爾濟亚语1,680条句子 vs. 莫尔多瓦语164条），性能显著下降。