[论文解读] Arap-Tweet: A Large Multi-Dialect Twitter Corpus for Gender, Age and Language Variety Identification

Wajdi Zaghouani, Anis Charfi|arXiv (Cornell University)|Aug 23, 2018

Authorship Attribution and Profiling被引用 29

一句话总结

本文介绍了 Arap-Tweet，这是一个大规模、多方言的 Twitter 语料库，涵盖阿拉伯世界11个地区和16个国家，对性别、年龄和方言变体进行了标注。作者使用方言特定关键词和 Twitter API 验证收集推文，采用具备标准化指南的专家标注员，并评估了标注一致性，最终形成了一项对阿拉伯语自然语言处理和作者画像工具具有重要价值的资源。

ABSTRACT

In this paper, we present Arap-Tweet, which is a large-scale and multi-dialectal corpus of Tweets from 11 regions and 16 countries in the Arab world representing the major Arabic dialectal varieties. To build this corpus, we collected data from Twitter and we provided a team of experienced annotators with annotation guidelines that they used to annotate the corpus for age categories, gender, and dialectal variety. During the data collection effort, we based our search on distinctive keywords that are specific to the different Arabic dialects and we also validated the location using Twitter API. In this paper, we report on the corpus data collection and annotation efforts. We also present some issues that we encountered during these phases. Then, we present the results of the evaluation performed to ensure the consistency of the annotation. The provided corpus will enrich the limited set of available language resources for Arabic and will be an invaluable enabler for developing author profiling tools and NLP tools for Arabic.

研究动机与目标

• 解决自然语言处理任务中多语言和多方言阿拉伯语资源稀缺的问题。
• 创建一个大规模、地理多样的 Twitter 语料库，涵盖16个阿拉伯国家的主要阿拉伯语方言。
• 支持开发用于阿拉伯语性别、年龄和方言识别的作者画像工具。
• 通过结构化指南和专家标注员确保高质量标注。
• 提供一个公开可用、可靠的语料库，以支持低资源阿拉伯语自然语言处理研究。

提出的方法

• 使用方言特定关键词从 Twitter 收集推文，以针对区域阿拉伯语变体。
• 利用 Twitter API 验证推文的地理位置，以确保区域准确性。
• 组建一支接受详细标注指南培训的资深标注员团队。
• 使用标准化标准对每条推文进行性别、年龄类别和方言变体的标注。
• 开展标注员间一致性评估，以衡量标注的一致性和可靠性。
• 报告了数据收集过程中的挑战，包括方言模糊性和位置误标。

实验结果

研究问题

• RQ1 如何系统性地构建一个大规模、多方言的阿拉伯语 Twitter 语料库，实现可靠的区域和语言标注？
• RQ2 在跨多样化阿拉伯语方言收集和标注推文时面临的主要挑战是什么？
• RQ3 在阿拉伯语中，性别、年龄和方言分类任务中，多标注员之间的一致性在多大程度上可以实现？
• RQ4 多方言的纳入在多大程度上影响了该语料库在自然语言处理和作者画像任务中的可用性？
• RQ5 在低资源阿拉伯语自然语言处理环境下，数据收集和标注过程中引入的局限性和偏差有哪些？

主要发现

• Arap-Tweet 语料库包含来自11个地区和16个国家的推文，代表了主要的阿拉伯语方言变体。
• 作者成功收集并标注了一个大规模数据集，性别、年龄和方言类别标注具有一致性。
• 通过评估标注员间一致性，确保了标注的可靠性，证实了标注过程的一致性。
• 该语料库通过提供一个多方言、地理多样的数据集，填补了阿拉伯语自然语言处理资源中的关键空白。
• 本研究突出了方言重叠和位置验证等挑战，这些挑战通过基于关键词的定位和 API 验证得以缓解。
• 最终数据集公开可用，旨在作为阿拉伯语作者画像和自然语言处理研究的基础资源。