[论文解读] ArCOV19-Rumors: Arabic COVID-19 Twitter Dataset for Misinformation Detection

Fatima Haouari, Maram Hasanain+2 more|arXiv (Cornell University)|Oct 17, 2020

Misinformation and Its Impacts被引用 39

一句话总结

作者介绍 ArCOV19-Rumors，这是一个用于错误信息检测的手动标注阿拉伯语 Twitter 数据集，支持 claim-level 和 tweet-level 验证，并提供传播网络，同时使用 SOTA 模型给出基线基准。

ABSTRACT

In this paper we introduce ArCOV19-Rumors, an Arabic COVID-19 Twitter dataset for misinformation detection composed of tweets containing claims from 27th January till the end of April 2020. We collected 138 verified claims, mostly from popular fact-checking websites, and identified 9.4K relevant tweets to those claims. Tweets were manually-annotated by veracity to support research on misinformation detection, which is one of the major problems faced during a pandemic. ArCOV19-Rumors supports two levels of misinformation detection over Twitter: verifying free-text claims (called claim-level verification) and verifying claims expressed in tweets (called tweet-level verification). Our dataset covers, in addition to health, claims related to other topical categories that were influenced by COVID-19, namely, social, politics, sports, entertainment, and religious. Moreover, we present benchmarking results for tweet-level verification on the dataset. We experimented with SOTA models of versatile approaches that either exploit content, user profiles features, temporal features and propagation structure of the conversational threads for tweet verification.

研究动机与目标

• 创建一个手动标注的阿拉伯语 Twitter 数据集（ArCOV19-Rumors），用于 COVID-19 期间的错误信息检测。
• 实现 claim-level 验证（自由文本主张）和 tweet-level 验证（推文中的主张）。
• 提供传播网络（转发和对话线索）以研究传播和支持验证。
• 覆盖除健康以外的多样化主张主题（社会、政治、宗教、娱乐、体育）。
• 提供基线模型和基准，指导未来在阿拉伯语错误信息检测方面的研究。

提出的方法

• 从阿拉伯语事实核查机构和卫生组织收集经过验证的 COVID-19 主张（最初 113 条错误，49 条真实），然后再通过 WHO/UN 资料来源和英语平台补充真实主张（总共 162 条主张：113 条错误，49 条真实）。
• 对于每条主张，构建布尔查询以检索来自 ArCOV-19 的相关推文并手动筛选相关性（产生 9,414 条相关推文）。
• 用相对主张的立场标注每条相关推文：表达相同主张、否定主张、或其他。
• 为每条相关推文收集传播网络（转发和对话串）以便分析传播和多模态验证信号。
• 定义数据集支持的三项任务：claim-level 验证、tweet-level 验证（包含使用先前相关推文的早期验证）、以及表达同一主张的推文的主张检索。
• 发布数据集组件，包括经过验证的主张、含标签的主张相关推文、传播网络、标注指南和基线折。

实验结果

研究问题

• RQ1 阿拉伯语错误信息在主张层面和推文层面，结合文本与上下文信号（包括传播网络）能被多大程度检测？
• RQ2 推文层面的验证是否可以利用传播网络、时间特征和用户画像来改善阿拉伯语的可信度判断？
• RQ3 在主张和推文中，真假/其他标签的分布如何，传播结构如何帮助验证？
• RQ4 是否提供相关推文的早期检索（在目标推文未完全传播的情况下）能否提升早期验证性能？

主要发现

• 数据集包含 138 条经验证的 COVID-19 主张，以及跨健康及其他主题（社会、政治、宗教、娱乐、体育）共 9,414 条带标签的相关推文。
• 支持两级验证：claim-level（使用所有相关推文验证主张）和 tweet-level（验证单条推文）。
• 基线实验显示，预训练的阿拉伯语 BERT 模型（MARBERT、AraBERT）在推文层面验证中优于其他基线，MARBERT 的 macro-F1 约为 0.74。
• 利用传播网络的模型（Bi-GCN、PPC-RNN+CNN）优于仅依赖内容的方法，但在真假检测上表现存在差异。
• 数据集包含传播结构（如回复和转发），使阿拉伯语 Twitter 内容的多模态与时序分析成为可能以进行错误信息检测。