[论文解读] BanglaBERT: Combating Embedding Barrier in Multilingual Models for Low-Resource Language Understanding

Abhik Bhattacharjee, Tahmid Hasan+5 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 44被引用 11

一句话总结

本文提出了 BanglaBERT，一种在 18.6 GB 的孟加拉语文本上微调的多语言语言模型，旨在解决低资源语言在独特文字系统下多语言模型面临的“嵌入障碍”问题。通过将孟加拉语转写为通用文字，该方法提升了模型性能，在五个自然语言理解任务和一个新的孟加拉语自然语言推理（NLI）数据集上取得了最先进结果，性能提升最高达 3.5%。

ABSTRACT

In this paper, we introduce ``Embedding Barrier'', a phenomenon that limits the monolingual performance of multilingual models on low-resource languages having unique typologies. We build `BanglaBERT', a Bangla language model pretrained on 18.6 GB Internet-crawled data and benchmark on five standard NLU tasks. We discover a significant drop in the performance of the state-of-the-art multilingual model (XLM-R) from BanglaBERT and attribute this to the Embedding Barrier through comprehensive experiments. We identify that a multilingual model's performance on a low-resource language is hurt when its writing script is not similar to any of the high-resource languages. To tackle the barrier, we propose a straightforward solution by transcribing languages to a common script, which can effectively improve the performance of a multilingual model for the Bangla language. As a bi-product of the standard NLU benchmarks, we introduce a new downstream dataset on natural language inference (NLI) and show that BanglaBERT outperforms previous state-of-the-art results on all tasks by up to 3.5%. We are making the BanglaBERT language model and the new Bangla NLI dataset publicly available in the hope of advancing the community. The resources can be found at \url{https://github.com/csebuetnlp/banglabert}.

研究动机与目标

• 识别并解决多语言模型在具有独特文字系统的低资源语言（如孟加拉语）上性能受限的‘嵌入障碍’现象。
• 提升多语言模型在孟加拉语（一种具有独特文字系统的低资源语言）上的单语性能。
• 通过将文字转写为通用文字的实用方法，改善跨语言迁移效果。
• 通过引入公开的 NLI 数据集，建立孟加拉语自然语言理解的新基准。

提出的方法

• 在 18.6 GB 的互联网爬取的孟加拉语文本上预训练一个基于 BERT 的模型，构建 BanglaBERT。
• 定义并实证验证‘嵌入障碍’：当一种语言的书写系统与高资源语言在多语言模型中存在显著差异时，导致性能下降。
• 提出基于转写的解决方案：将孟加拉语文本转写为通用文字（如拉丁字母），以改善与多语言嵌入的对齐。
• 在五个标准自然语言理解任务上对 BanglaBERT 进行微调，包括新引入的自然语言推理（NLI）数据集。
• 在多个基准上将 BanglaBERT 的性能与 XLM-R 及先前最先进模型进行比较。
• 公开发布训练好的模型和新的孟加拉语 NLI 数据集，以支持社区研究。

实验结果

研究问题

• RQ1 ‘嵌入障碍’在多大程度上降低了多语言模型在具有独特文字系统的低资源语言（如孟加拉语）上的性能？
• RQ2 将孟加拉语转写为通用文字是否能显著提升多语言模型在孟加拉语自然语言理解任务上的性能？
• RQ3 BanglaBERT 在标准孟加拉语自然语言理解基准上与 XLM-R 及先前最先进模型相比表现如何？
• RQ4 与先前模型相比，BanglaBERT 在新引入的孟加拉语 NLI 数据集上实现了哪些性能提升？
• RQ5 所提出的基于转写的解决方案是否可推广为其他非拉丁字母文字的低资源语言的有效解决方案？

主要发现

• BanglaBERT 在所有五个标准自然语言理解任务上均优于 XLM-R，证明其通过克服嵌入障碍实现了显著性能提升。
• XLM-R 在孟加拉语上的性能下降可直接归因于文字系统不匹配，证实了嵌入障碍的存在。
• 将孟加拉语文本转写为通用文字可改善多语言模型的对齐性，并在下游任务中带来可测量的性能增益。
• BanglaBERT 在所有评估任务上均达到最先进水平，性能提升最高达 3.5%。
• 新引入的孟加拉语 NLI 数据集为未来孟加拉语自然语言理解研究提供了标准化基准。