[论文解读] Arabic Dialect Identification Using BERT-Based Domain Adaptation

Ahmad Beltagy, Abdelrahman Wael+1 more|arXiv (Cornell University)|Nov 13, 2020

Natural Language Processing Techniques参考文献 12被引用 4

一句话总结

该论文提出了一种基于 BERT 的领域自适应方法，用于识别阿拉伯语方言，方法是使用未标注的 Twitter 数据微调 AraBERT。通过应用广泛的文本清洗、数据增强和掩码语言建模微调，该方法在 NADI 共享任务中取得了 23.09% 的 F1 宏分值，位列 21 种方言中的第 4 名，展现出一种稳健的半监督深度学习框架。

ABSTRACT

Arabic is one of the most important and growing languages in the world. With the rise of social media platforms such as Twitter, Arabic spoken dialects have become more in use. In this paper, we describe our approach on the NADI Shared Task 1 that requires us to build a system to differentiate between different 21 Arabic dialects, we introduce a deep learning semi-supervised fashion approach along with pre-processing that was reported on NADI shared Task 1 Corpus. Our system ranks 4th in NADI's shared task competition achieving a 23.09% F1 macro average score with a simple yet efficient approach to differentiating between 21 Arabic Dialects given tweets.

研究动机与目标

• 为解决在社交媒体文本中识别 21 种阿拉伯语方言的挑战，特别是应对数据不平衡和噪声样本的问题。
• 通过使用预训练 BERT 模型的半监督深度学习方法，提升分类性能。
• 通过针对性的文本预处理，减轻噪声数据（如《古兰经》经文和英文单词）的影响。
• 通过在未标注的 Twitter 数据上进行掩码语言建模微调，实现 AraBERT 的领域自适应，从而增强模型泛化能力。
• 探索结合 BERT 与朴素贝叶斯的混合架构，以提升低资源类别（少数方言）的性能。

提出的方法

• 预处理包括使用正则表达式和 PyArabic 移除 URL、提及、标点符号、英文字符、表情符号和 diacritics（短音符号），并规范化重复字符。
• 使用 Farasa 分词器对词语进行分词，将词缀和后缀与词根分离，以增强形态学表征。
• 通过上采样少数类来实现数据增强，以缓解训练集中类别不平衡的问题。
• 通过掩码语言建模（MLM）在未标注的 NADI Twitter 语料上对 AraBERT 进行微调，使预训练模型适应目标领域。
• 混合模型将 AraBERT 与朴素贝叶斯结合：AraBERT 首先将推文分类为多数方言组或少数方言组，随后朴素贝叶斯对少数类预测进行进一步分类。
• 最终模型采用单一 Transformer 头，结合领域自适应的 AraBERT，在清洗和增强后的数据上进行端到端训练，在 NADI 基准上实现了最先进性能。

实验结果

研究问题

• RQ1 通过在未标注的 Twitter 数据上进行掩码语言建模微调实现的领域自适应，在阿拉伯语方言识别中效果如何？
• RQ2 文本预处理和数据增强在低资源阿拉伯语方言上的性能提升程度如何？
• RQ3 结合 BERT 与朴素贝叶斯的混合模型是否能超越纯 BERT 分类器在少数方言类别上的表现？
• RQ4 如《古兰经》经文和英文单词等噪声因素如何影响模型性能？预处理能否有效缓解其影响？
• RQ5 各组件（清洗、上采样、MLM 微调）对整体 F1 分数提升的贡献分别是什么？

主要发现

• 在未进行预处理或数据增强的情况下，基线 AraBERT 模型在开发集上的 F1 得分为 18.6%，表明仍有显著提升空间。
• 仅通过文本预处理，F1 分数提升至 20.54%，证明了清洗噪声和不一致语言特征的有效性。
• 将预处理与上采样结合后，F1 分数提升至 21.33%，表明缓解类别不平衡有助于提升少数方言的识别能力。
• 通过在未标注的 Twitter 数据上使用掩码语言建模对 AraBERT 进行微调，取得了最大提升，使开发集上的 F1 分数达到 24.43%。
• 最终模型在测试集上实现了 23.09% 的 F1 宏分值，在 NADI 共享任务中位列第 4，验证了领域自适应的有效性。
• 混合的 AraBERT + 朴素贝叶斯模型实现了 22.3% 的 F1 分数，效果不如纯 AraBERT 方法，表明在此设置下，简单模型优于复杂集成模型。