[论文解读] BanglaBERT: Combating Embedding Barrier for Low-Resource Language Understanding.

Abhik Bhattacharjee, Tahmid Hasan+4 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 14被引用 19

一句话总结

BanglaBERT 引入了一个基于 BERT 的单语语言模型，该模型在 18.6 GB 的爬取孟加拉语文本上进行预训练，以应对自然语言处理中孟加拉语资源匮乏的问题。它在四个下游任务上比多语模型基线高出 1–6%。该研究还识别出一种影响使用非拉丁脚本的低资源语言的新型“嵌入屏障”。

ABSTRACT

Pre-training language models on large volume of data with self-supervised objectives has become a standard practice in natural language processing. However, most such state-of-the-art models are available in only English and other resource-rich languages. Even in multilingual models, which are trained on hundreds of languages, low-resource ones still remain underrepresented. Bangla, the seventh most widely spoken language in the world, is still low in terms of resources. Few downstream task datasets for language understanding in Bangla are publicly available, and there is a clear shortage of good quality data for pre-training. In this work, we build a Bangla natural language understanding model pre-trained on 18.6 GB data we crawled from top Bangla sites on the internet. We introduce a new downstream task dataset and benchmark on four tasks on sentence classification, document classification, natural language understanding, and sequence tagging. Our model outperforms multilingual baselines and previous state-of-the-art results by 1-6%. In the process, we identify a major shortcoming of multilingual models that hurt performance for low-resource languages that don't share writing scripts with any high resource one, which we name the `Embedding Barrier'. We perform extensive experiments to study this barrier. We release all our datasets and pre-trained models to aid future NLP research on Bangla and other low-resource languages. Our code and data are available at this https URL.

研究动机与目标

• 为解决孟加拉语这一全球使用广泛但资源匮乏的语言在自然语言处理中高质量预训练数据和下游数据集稀缺的问题。
• 开发一个专门针对孟加拉语的语言模型，使其在孟加拉语特定的自然语言处理任务上优于现有的多语模型。
• 识别并分析多语模型在低资源语言（尤其是使用非拉丁脚本的语言）中面临的一项关键性能限制，即所谓的“嵌入屏障”。
• 发布一个新的基准数据集和预训练模型，以支持未来对孟加拉语及其他类似低资源语言的研究。

提出的方法

• 在从互联网上收集的 18.6 GB 单语孟加拉语文本上预训练一个类似 BERT 的 Transformer 模型。
• 在爬取的孟加拉语语料库上使用掩码语言建模和下一句预测作为自监督预训练目标。
• 创建一个涵盖四个任务的新下游基准：句子分类、文档分类、自然语言理解与序列标注。
• 在新基准上将 BanglaBERT 的性能与多语 BERT 及其他最先进模型进行比较。
• 通过消融研究隔离“嵌入屏障”对非拉丁脚本语言模型性能的影响。
• 向研究社区发布预训练模型权重、微调后的模型以及所有基准数据集。

实验结果

研究问题

• RQ1 在下游孟加拉语自然语言处理任务上，单语孟加拉语 BERT 模型相较于多语模型的表现如何？
• RQ2 当应用于孟加拉语等低资源语言（使用非拉丁脚本）时，多语模型的关键性能限制是什么？
• RQ3 与多语预训练相比，在大规模单语孟加拉语语料库上进行预训练，能在多大程度上提升下游任务的性能？
• RQ4 “嵌入屏障”是否可以被实证识别并量化为多语模型中非拉丁脚本语言的独立性能瓶颈？

主要发现

• BanglaBERT 在所有四个下游任务上均达到最先进性能，比多语基线高出 1–6%。
• 该模型在句子分类、文档分类、序列标注和自然语言理解任务中均表现出显著的性能提升。
• 在多语模型应用于孟加拉语时，观察到显著的性能差距，作者将其归因于“嵌入屏障”——一种非拉丁脚本语言在跨语言迁移中表现不佳的现象。
• “嵌入屏障”被识别为多语模型中的关键限制，尤其影响那些与高资源语言不共享书写脚本的低资源语言。
• 广泛的消融研究证实，多语模型的性能下降并非仅由数据稀缺引起，而更因书写脚本不兼容而加剧。
• 预训练模型、微调模型和基准数据集的发布，预计将加速未来对孟加拉语及其他低资源语言的研究。