[论文解读] CoVERT: A Corpus of Fact-checked Biomedical COVID-19 Tweets

Isabelle Mohr, Amelie Wührl+1 more|arXiv (Cornell University)|Apr 26, 2022

Misinformation and Its Impacts被引用 11

一句话总结

CoVERT 是一个经过事实核查的生物医学新冠 Twitter 数据集，包含 300 条标注了医学实体、关系以及由众包工作者提供的支持/反驳/信息不足 verdict 的数据。这些 verdict 均基于真实世界证据。研究结果表明，来自众包工作者的真实世界证据提取优于语言模型生成的证据，在事实核查流程中提升了预测性能，尽管在 '信息不足' 类别上仍存在挑战。

ABSTRACT

Over the course of the COVID-19 pandemic, large volumes of biomedical information concerning this new disease have been published on social media. Some of this information can pose a real danger to people's health, particularly when false information is shared, for instance recommendations on how to treat diseases without professional medical advice. Therefore, automatic fact-checking resources and systems developed specifically for the medical domain are crucial. While existing fact-checking resources cover COVID-19-related information in news or quantify the amount of misinformation in tweets, there is no dataset providing fact-checked COVID-19-related Twitter posts with detailed annotations for biomedical entities, relations and relevant evidence. We contribute CoVERT, a fact-checked corpus of tweets with a focus on the domain of biomedicine and COVID-19-related (mis)information. The corpus consists of 300 tweets, each annotated with medical named entities and relations. We employ a novel crowdsourcing methodology to annotate all tweets with fact-checking labels and supporting evidence, which crowdworkers search for online. This methodology results in moderate inter-annotator agreement. Furthermore, we use the retrieved evidence extracts as part of a fact-checking pipeline, finding that the real-world evidence is more useful than the knowledge indirectly available in pretrained language models.

研究动机与目标

• 为解决缺乏经过事实核查、聚焦生物医学的新冠 Twitter 数据集及其详细标注的问题。
• 开发一种新颖的众包方法，用于社交媒体上的生物医学事实核查。
• 评估基于网络搜索的真实世界证据是否优于模型生成的证据，从而提升事实核查流程的性能。
• 为下游 NLP 任务提供对生物医学声明、实体和关系的结构化查询支持。

提出的方法

• 众包工作者为 300 条与新冠相关的 Twitter 推文标注了医学命名实体（如疾病、治疗方式）及其关系（如 cause_of、not_cause_of）。
• 每条推文均根据标注者从在线来源检索到的证据，被赋予一个事实核查 verdict（支持、反驳、信息不足）。
• 设计了一种新颖的众包工作流程，以确保证据收集和 verdict 分配的一致性与可靠性。
• 使用该语料库微调事实核查流程，采用真实证据提取，并与使用 BERT 生成证据的基线模型进行性能对比。
• 该流程使用多层感知机（MLP）分类器，基于声明-证据对预测 verdict。
• 进行了探索性分析，评估证据提取在提升基于蕴含关系的分类性能方面的作用，相较于预训练语言模型的表征。

实验结果

研究问题

• RQ1 众包方法能否可靠地为社交媒体中的生物医学声明生成事实核查标签和证据？
• RQ2 当使用真实世界证据与语言模型生成的证据时，事实核查流程的性能表现有何差异？
• RQ3 与 BERT 中隐含的知识相比，真实证据提取在多大程度上提升了 verdict 预测的准确性？
• RQ4 证据分布与类别不平衡如何影响模型泛化能力，特别是对 '信息不足' 类别的影响？
• RQ5 CoVERT 中标注的实体与关系能否有效用于将声明链接至生物医学本体，以支持知识库集成？

主要发现

• 众包事实核查方法实现了中等程度的标注者间一致性，表明在社交媒体上标注生物医学声明具有可靠性。
• 来自众包工作者的真实世界证据提取显著提升了事实核查流程的性能，MLP-Evidence 模型在推文 + 证据对上的 F1 得分为 0.69。
• 使用 BERT 生成证据的流程（MLP-FEVER）表现更差，F1 得分为 0.46，原因在于生成的证据存在误导性或信息量不足。
• '信息不足' 类别仍是挑战，因为在微调过程中该标签无对应证据，限制了模型的学习能力。
• 使用 CoVERT 证据进行微调后，'支持' 类预测的正确数量从 33 增加到 55，但引入了 15 个误报。
• 句子级别的证据提取可能提供更丰富的蕴含特征，未来或可进一步提升流程性能。