[论文解读] ArCorona: Analyzing Arabic Tweets in the Early Days of Coronavirus (COVID-19) Pandemic

Hamdy Mubarak, Sabit Hassan|arXiv (Cornell University)|Dec 2, 2020

Misinformation and Its Impacts参考文献 23被引用 7

一句话总结

本文介绍了 ArCorona，这是目前公开可用的最大规模手动标注的阿拉伯语推文数据集，包含8,000条来自早期新冠疫情的阿拉伯语推文，被标注为13种类别，包括谣言、政府行动和私人故事等。利用该数据集，作者评估了机器学习和Transformer模型——特别是AraBERT——在细粒度分类任务中取得了60.5%的F1分数，展现出在识别阿拉伯语社交媒体中关键公共话语方面的优异性能。

ABSTRACT

Over the past few months, there were huge numbers of circulating tweets and discussions about Coronavirus (COVID-19) in the Arab region. It is important for policy makers and many people to identify types of shared tweets to better understand public behavior, topics of interest, requests from governments, sources of tweets, etc. It is also crucial to prevent spreading of rumors and misinformation about the virus or bad cures. To this end, we present the largest manually annotated dataset of Arabic tweets related to COVID-19. We describe annotation guidelines, analyze our dataset and build effective machine learning and transformer based models for classification.

研究动机与目标

• 为解决阿拉伯世界在新冠疫情话语分析方面缺乏大规模、人工标注的阿拉伯语推文数据集的问题。
• 识别并分类疫情期间早期阶段阿拉伯推文中表达的公众情绪、错误信息、政府行动和社会影响。
• 评估机器学习和Transformer模型在阿拉伯语推文细粒度分类中的表现，以支持公共卫生和政策决策。
• 提供一个公开可用的基准数据集，以支持未来在阿拉伯语自然语言处理和疫情相关社交媒体分析方面的研究。

提出的方法

• 使用twarc API以关键词'كورونا'（Corona）从2020年2月21日至3月31日期间收集了3,000万条阿拉伯语推文。
• 每天选取被转发次数最多的200条推文（总计8,000条），以确保标注内容具有高影响力。
• 设计了一个包含13种类别的分类体系用于人工标注，包括报告（REP）、行动（ACT）、谣言（RUMOR）、建议（ADVICE）和支持（SUPPORT）等类别。
• 通过两名母语阿拉伯语的标注员实现高一致性（kappa = 0.85），以确保质量控制。
• 评估了多种模型：基于n-gram特征（词[1-2]，字符[2-5]）和Mazajak词嵌入的SVM，以及微调后的AraBERT用于序列分类。
• 采用6,000/1,000/1,000的训练/验证/测试集划分，并报告了宏观F1、精确率、召回率和准确率作为评估指标。

实验结果

研究问题

• RQ1 在疫情早期阶段，与新冠疫情相关的阿拉伯语推文的主要类型是什么？这些类型在阿拉伯国家之间有何差异？
• RQ2 传统机器学习模型与基于Transformer的模型在将阿拉伯语推文分类到13个主题类别方面的有效性如何？
• RQ3 在早期阿拉伯社交媒体话语中，哪些类别——如谣言、疗法或政府行动请求——最为普遍？
• RQ4 AraBERT在细粒度阿拉伯语推文分类任务中的表现与基于SVM的不同特征类型模型相比如何？

主要发现

• 最常见的推文类型为报告（1,664条）、政府行动（1,383条）和建议（1,047条），表明公众对官方更新和健康指导高度关注。
• 谣言（421条）和疗法（116条）相对较少，分别仅占约5%和2%的推文，表明错误信息在早期传播有限。
• AraBERT在细粒度分类中取得了最高的F1分数60.5%，优于使用n-gram和词嵌入的SVM模型。
• 混淆矩阵显示，INFO（信息）、RUMOR（谣言）和PRSNL（个人故事）是最常被误分类的类别，其中INFO常与ADVICE（建议）混淆。
• 7%的推文包含仇恨言论，包括对中国的污名化和对伊朗的歧视，凸显社交媒体在传播仇外心理方面的作用。
• 沙特阿拉伯贡献了59%的数据集，其次是其他海湾国家和国际账号，其中经验证的政府和媒体账号是转发的主要来源。