[论文解读] DziriBERT: a Pre-trained Language Model for the Algerian Dialect

Amine Abdaoui, Mohamed Berrimi+2 more|arXiv (Cornell University)|Sep 25, 2021

Natural Language Processing Techniques参考文献 22被引用 7

一句话总结

DziriBERT 是一个基于 BERT 的语言模型，通过在 110 万条阿尔及利亚方言推文上进行预训练，解决了该低资源、使用拉丁字母的方言在自然语言处理方面资源匮乏的问题。尽管仅使用 150 MB 的训练数据——远少于其他模型——DziriBERT 在情感、情绪和主题分类任务上仍取得了最先进性能，尤其在拉丁字母（阿拉伯拼音，Arabizi）文本上表现优异，超越了多语言模型和阿拉伯语专用模型（如 XLM-R 和 MARBERT）。

ABSTRACT

Pre-trained transformers are now the de facto models in Natural Language Processing given their state-of-the-art results in many tasks and languages. However, most of the current models have been trained on languages for which large text resources are already available (such as English, French, Arabic, etc.). Therefore, there are still a number of low-resource languages that need more attention from the community. In this paper, we study the Algerian dialect which has several specificities that make the use of Arabic or multilingual models inappropriate. To address this issue, we collected more than one million Algerian tweets, and pre-trained the first Algerian language model: DziriBERT. When compared with existing models, DziriBERT achieves better results, especially when dealing with the Roman script. The obtained results show that pre-training a dedicated model on a small dataset (150 MB) can outperform existing models that have been trained on much more data (hundreds of GB). Finally, our model is publicly available to the community.

研究动机与目标

• 为阿尔及利亚方言这一低资源语言（在社交媒体中具有显著语用学重要性）解决自然语言处理资源匮乏的问题。
• 克服现有多语言模型和阿拉伯语专用模型的局限性，这些模型不适用于阿尔及利亚方言的独特特征，如拉丁字母（阿拉伯拼音，Arabizi）和混合书写系统。
• 证明在较小、领域特定的预训练数据上，也可实现低资源自然语言处理的高性能。
• 提供一个公开可用的、专为阿尔及利亚方言设计的语言模型，以支持下游自然语言处理应用。

提出的方法

• 使用 Twitter API 从阿尔及利亚城市收集 120 万条推文，筛选出具有方言表达和多语言脚本的内容。
• 通过匿名化用户提及、电子邮件和 URL 对数据进行预处理，最终得到 110 万条唯一推文（150 MB）用于训练和评估。
• 在训练数据上使用 WordPiece Tokenizer 进行训练，词汇表大小为 50,000，以处理形态和拼写变体。
• 使用 25% 的掩码概率，通过掩码语言建模对 BERT-base 架构（12 层，768 隐层维度，12 个注意力头）进行微调，省略下一句预测任务。
• 在 AWS g4dn.2xlarge 实例上使用 T4 GPU 训练模型 50 个周期（约 80 万个步骤），10 天内实现收敛。
• 将最终模型发布至 Hugging Face Transformers Hub，供公众访问并用于下游任务的微调。

实验结果

研究问题

• RQ1 一个在小规模、领域特定数据集（150 MB）上预训练的 BERT 模型，能否在阿尔及利亚方言任务上超越更大规模的多语言模型和阿拉伯语专用模型？
• RQ2 当处理以拉丁字母（阿拉伯拼音，Arabizi）书写的阿尔及利亚方言时，预训练模型的性能与使用阿拉伯字母书写时有何不同？
• RQ3 与通用多语言模型或阿拉伯语模型相比，为阿尔及利亚方言专门设计的模型在多大程度上能提升下游自然语言处理任务的性能？
• RQ4 通过减小词汇表大小和模型参数数量，是否能在不牺牲低资源方言性能的前提下，提升部署效率？

主要发现

• 在 Twifil 数据集（阿拉伯字母）上，DziriBERT 在情感分类任务中取得 81.1% 的 F1 分数，优于 mBERT、XLM-R 和 AraBERT，达到最先进水平。
• 在 Narabizi 数据集（拉丁字母）上，DziriBERT 在情感分类中达到 63.5% 的准确率，在主题分类中达到 62.8%——显著优于 MARBERT（分别高出 +5.5% 和 +13.8%）。
• 尽管仅使用 150 MB 的训练数据，DziriBERT 的表现仍超越了在 128 GB 文本上预训练的 MARBERT，证明在低资源环境下数据效率是可行的。
• 由于使用 50,000 的词汇表，DziriBERT 模型体积更小（498 MB），参数更少（1.24 亿），相比大多数基线模型更具可部署性，尤其适合公共云平台。
• 该模型在拉丁字母文本上的性能差距凸显了其在处理非标准拼写系统方面的优势，这是现有多语言模型面临的关键挑战。
• 错误分析显示，与 MARBERT 相比，DziriBERT 在非阿尔及利亚阿拉伯语内容上的表现更弱，表明其优势在于方言特异性泛化能力，而非广泛的多语言适应性。