[论文解读] Arabic Dialect Identification in the Wild

Ahmed Abdelalí, Hamdy Mubarak+3 more|arXiv (Cornell University)|May 13, 2020

Natural Language Processing Techniques参考文献 32被引用 25

一句话总结

本文提出了 QADI，一个大规模、均衡且通过自动化方式收集的 540,000 条推文数据集，涵盖 18 个阿拉伯国家，利用基于用户资料的用户筛选方法和基于远程监督的 MSA/方言区分技术。该数据集使国家层面的阿拉伯语方言识别达到最先进水平，宏平均 F1 得分为 60.6%，显著优于先前的数据集（如 MADAR）。

ABSTRACT

We present QADI, an automatically collected dataset of tweets belonging to a wide range of country-level Arabic dialects -covering 18 different countries in the Middle East and North Africa region. Our method for building this dataset relies on applying multiple filters to identify users who belong to different countries based on their account descriptions and to eliminate tweets that are either written in Modern Standard Arabic or contain inappropriate language. The resultant dataset contains 540k tweets from 2,525 users who are evenly distributed across 18 Arab countries. Using intrinsic evaluation, we show that the labels of a set of randomly selected tweets are 91.5% accurate. For extrinsic evaluation, we are able to build effective country-level dialect identification on tweets with a macro-averaged F1-score of 60.6% across 18 classes.

研究动机与目标

• 解决社交媒体中细粒度阿拉伯语方言识别缺乏大规模、均衡、非特定语体的数据集的问题。
• 开发一种自动化、可扩展的方法，通过利用用户资料中的自我身份标识和 MSA/方言区分，从 Twitter 收集阿拉伯语方言推文。
• 基于新构建的数据集，构建并评估最先进的国家层面阿拉伯语方言识别模型。
• 分析多语言阿拉伯语社交媒体中方言重叠和代码切换带来的挑战。

提出的方法

• 通过在 Twitter 用户资料描述中使用表示国籍的关键词（例如 'proud Egyptian'）自动识别来自 18 个阿拉伯国家的用户。
• 应用基于远程监督的分类器，区分现代标准阿拉伯语（MSA）与方言阿拉伯语（DA），过滤掉 MSA 占比过高或不适当的内容。
• 仅保留那些自我标识为某国用户且主要以 DA 发布推文的用户推文，确保方言的真实性。
• 构建一个平衡的数据集，每个国家保留约 182 条测试推文，并由母语者手动标注以供验证。
• 使用 n-gram、静态嵌入和上下文嵌入（如 BERT-base-multilingual、AraBERT）以及分类器（SVM、微调的 Transformer）训练并评估多种模型。
• 通过内在评估（随机样本中标签准确率达 91.5%）和外在评估（宏平均 F1 得分）验证数据集质量和模型性能。

实验结果

研究问题

• RQ1 能否通过自动化、可扩展的方法可靠地从 Twitter 收集阿拉伯语方言推文，同时确保国家层面的平衡性和语言真实性？
• RQ2 经人工标注验证后，该数据集中国家层面的方言标签准确度如何？
• RQ3 最先进模型在该新数据集上实现有效国家层面方言识别的程度如何？
• RQ4 阿拉伯语方言识别中的主要错误来源是什么，特别是方言重叠和代码切换方面？

主要发现

• QADI 数据集包含来自 18 个阿拉伯国家的 2,525 名用户的 540,000 条推文，分布均衡，并拥有每个国家 182 条经人工验证的测试集。
• 内在评估显示，随机抽样中 91.5% 的推文标签准确，证实了标签质量较高。
• 表现最佳的模型（微调后的 AraBERT）在 18 类方言识别任务中达到 60.6% 的宏平均 F1 得分。
• 误分类的主要来源集中在区域方言集群内部——如海湾、黎凡特、马格里布和尼罗河流域方言，原因在于语言上的相似性和重叠。
• 约 2% 的误分类推文为异常值，主要由于代码切换、歌词或诗歌引用，或包含 MSA 词汇。
• 在 QADI 上进行训练的模型性能显著优于在公开的 MADAR 数据集上训练的模型，证明了 QADI 在规模、平衡性和质量方面的优越性。