[论文解读] ArCovidVac: Analyzing Arabic Tweets About COVID-19 Vaccination

Hamdy Mubarak, Sabit Hassan+2 more|arXiv (Cornell University)|Jan 17, 2022

Misinformation and Its Impacts被引用 9

一句话总结

本文介绍了ArCovidVac，这是首个大规模人工标注的阿拉伯语推文数据集，专注于新冠疫苗接种，包含多层级标注：信息性、推文内容类型（10种类别）以及立场（支持、中立、反对疫苗）。该研究在三个任务上对变换器模型（如QARiB）进行了基准测试——信息性分类、细粒度内容分类和立场检测，取得了最先进性能，尤其在立场检测中F1得分为63.1%，凸显了该数据集在阿拉伯世界公共卫生监测和虚假信息缓解方面的价值。

ABSTRACT

The emergence of the COVID-19 pandemic and the first global infodemic have changed our lives in many different ways. We relied on social media to get the latest information about the COVID-19 pandemic and at the same time to disseminate information. The content in social media consisted not only health related advises, plans, and informative news from policy makers, but also contains conspiracies and rumors. It became important to identify such information as soon as they are posted to make actionable decisions (e.g., debunking rumors, or taking certain measures for traveling). To address this challenge, we develop and publicly release the first largest manually annotated Arabic tweet dataset, ArCovidVac, for the COVID-19 vaccination campaign, covering many countries in the Arab region. The dataset is enriched with different layers of annotation, including, (i) Informativeness (more vs. less importance of the tweets); (ii) fine-grained tweet content types (e.g., advice, rumors, restriction, authenticate news/information); and (iii) stance towards vaccination (pro-vaccination, neutral, anti-vaccination). Further, we performed in-depth analysis of the data, exploring the popularity of different vaccines, trending hashtags, topics and presence of offensiveness in the tweets. We studied the data for individual types of tweets and temporal changes in stance towards vaccine. We benchmarked the ArCovidVac dataset using transformer architectures for informativeness, content types, and stance detection.

研究动机与目标

• 为应对公共卫生决策中缺乏大规模、人工标注的阿拉伯语社交媒体数据（关于新冠疫苗接种）的问题。
• 实现对疫情期间阿拉伯语社交媒体中虚假信息、公众情绪和信息类型的准确检测。
• 支持政策制定者和卫生组织理解公众认知，并针对阿拉伯地区疫苗相关谣言和关切做出响应。
• 为低资源阿拉伯语自然语言处理中的立场检测、内容分类和信息性评估等NLP任务提供基准数据集。

提出的方法

• 使用与新冠疫苗接种相关的针对性查询，从阿拉伯地区收集了10,000条阿拉伯语推文，构建数据集。
• 开展多层级人工标注：(i) 推文信息性，(ii) 10种类别的细粒度内容类型（如建议、谣言、计划），(iii) 对疫苗接种的立场（支持、中立、反对）。
• 采用基于变换器的模型（如QARiB、BERT）进行微调，用于三个分类任务：信息性分类、内容类型分类和立场检测。
• 对公众立场趋势进行时间序列分析，识别出与公众人物接种疫苗相关的立场变化。
• 对误分类样本进行错误分析，识别出上下文模糊、反讽和标注不一致等问题。
• 公开发布数据集、标注指南和代码，以支持可复现性和未来研究。

实验结果

研究问题

• RQ1 在阿拉伯国家的阿拉伯语社交媒体中，新冠疫苗接种的主要内容类型和公众立场是什么？
• RQ2 公众对疫苗接种的立场如何随时间演变，特别是在有影响力人物接种疫苗后？
• RQ3 变换器模型在低资源阿拉伯语文本中，对信息性推文、内容类型和立场的分类能力如何？
• RQ4 立场检测和内容分类中的主要错误来源是什么，它们与反讽或多重标签内容等语言细微差别有何关联？
• RQ5 在疫苗接种期间，阿拉伯地区各国的标签、谣言和虚假信息模式有何差异？

主要发现

• ArCovidVac数据集是首个大规模、人工标注的阿拉伯语新冠疫苗接种数据集，具有三层标注，已公开用于研究。
• 变换器模型，尤其是微调后的QARiB，在所有任务中均优于传统SVM，立场检测F1得分为63.1%，表明模型具有良好的泛化能力。
• 立场检测仍具挑战性，主要由于类别不平衡和语言模糊性，中立和反疫苗推文常被误分类为支持疫苗。
• 最常见的内容类型为“建议”、“信息”和“谣言”，而“安全疫苗”和“疫苗获取”成为主导标签，反映出公众关注。
• 在高调人物（如国王）接种疫苗后，公众对疫苗的支持情绪显著上升，表明榜样人物具有影响力。
• 错误分析显示，10%的分类错误源于多重标签推文，而上下文、反讽和多媒体内容对准确理解至关重要。