[论文解读] Drink bleach or do what now? Covid-HeRA: A dataset for risk-informed health decision making in the presence of COVID19 misinformation.

Arkin Dharawat, Ismini Lourentzou+2 more|arXiv (Cornell University)|Oct 17, 2020

Misinformation and Its Impacts参考文献 51被引用 31

一句话总结

Covid-HeRA 是一个新型数据集，旨在通过分类虚假声明的严重程度并识别高恶意程度虚假新闻的检测信号，评估社交媒体上与新冠相关的错误信息的健康风险。该研究评估了多种自然语言处理（NLP）模型，揭示了在风险感知错误信息检测中面临的关键挑战，为未来在大流行期间进行健康风险评估的研究奠定了基础。

ABSTRACT

Given the wide spread of inaccurate medical advice related to the 2019 coronavirus pandemic (COVID-19), such as fake remedies, treatments and prevention suggestions, misinformation detection has emerged as an open problem of high importance and interest for the NLP community. To combat potential harm of COVID19-related misinformation, we release Covid-HeRA, a dataset for health risk assessment of COVID-19-related social media posts. More specifically, we study the severity of each misinformation story, i.e., how harmful a message believed by the audience can be and what type of signals can be used to discover high malicious fake news and detect refuted claims. We present a detailed analysis, evaluate several simple and advanced classification models, and conclude with our experimental analysis that presents open challenges and future directions.

研究动机与目标

• 为应对社交媒体上传播的有害新冠错误信息日益增长的威胁，特别是诸如“喝漂白剂”等危险言论。
• 开发一个数据集，以实现对错误信息中严重程度和恶意意图的系统性分析。
• 识别区分高风险与低风险虚假声明在健康相关内容中的语言和上下文信号。
• 评估简单与先进的 NLP 模型在分类错误信息严重程度及检测被驳斥声明方面的表现。
• 揭示开放性挑战，并为未来在公共卫生危机期间实现风险意识的错误信息检测研究提供指导。

提出的方法

• 作者构建了一个基于新冠相关社交媒体帖子的人工标注数据集，重点关注具有潜在健康风险的声明。
• 每条帖子均按其造成伤害的严重程度进行标注，包括声明是否具有危险性（例如，提倡使用有毒物质）或是否已被医学驳斥。
• 该数据集包含多层次标注，涵盖风险严重程度、声明真实性以及潜在受众影响。
• 作者应用传统机器学习模型和深度学习架构，基于文本和上下文特征对错误信息进行分类。
• 他们分析语言线索、声明结构和真实性信号，以识别高恶意程度错误信息中的模式。
• 评估框架包括标准 NLP 指标，用于比较不同风险严重程度级别下各模型的性能。

实验结果

研究问题

• RQ1 在社交媒体上传播的最具危害性的新冠错误信息类型有哪些？
• RQ2 哪些语言和上下文信号最能预测特定错误信息声明的伤害严重程度？
• RQ3 现有 NLP 模型在检测高风险错误信息方面，与低风险或已被驳斥的声明相比，表现如何？
• RQ4 在训练模型以区分危险性虚假陈述与危害性较低或已被驳斥的声明时，面临哪些关键挑战？
• RQ5 如何通过风险感知分类提升大流行期间的公共卫生决策制定？

主要发现

• Covid-HeRA 数据集成功捕捉了从轻微误导到极具危害性的虚假声明（如‘喝漂白剂’）的错误信息严重程度谱系。
• 简单的模型（如逻辑回归）在该数据集上表现出具有竞争力的性能，表明基本的语言特征即可有效提示高风险内容。
• 先进的模型（包括基于 Transformer 的架构）在检测被驳斥的声明方面表现更优，尤其是在结合真实性信号进行微调后。
• 在检测高恶意程度错误信息方面仍存在显著的泛化差距，尤其是在虚假声明使用欺骗性措辞或看似可信的医学术语时。
• 研究表明，上下文和声明结构是关键信号，但当前模型在利用这些信号进行风险评估方面仍表现不佳。
• 作者得出结论：风险感知检测仍是开放性挑战，需要更细致的数据集和更强的模型可解释性。