[论文解读] FACTOID: A New Dataset for Identifying Misinformation Spreaders and Political Bias

Flora Sakketou, Joan Plepi+4 more|arXiv (Cornell University)|May 11, 2022

Misinformation and Its Impacts被引用 8

一句话总结

本论文提出 FACTOID，一个基于 Reddit 的新型数据集，涵盖超过 4,150 名用户和 340 万条帖子，捕捉了用户的长期发帖行为、可信度水平（从极低到极高）以及政治偏见（从极端左翼到极端右翼）。该研究提出一种图注意力网络（GAT）模型，利用社交互动和心理语言学特征——尤其是情感性心理过程与开放性体验——以检测虚假信息传播者，其性能达到当前最先进水平，GAT 模型优于所有基线模型。

ABSTRACT

Proactively identifying misinformation spreaders is an important step towards mitigating the impact of fake news on our society. In this paper, we introduce a new contemporary Reddit dataset for fake news spreader analysis, called FACTOID, monitoring political discussions on Reddit since the beginning of 2020. The dataset contains over 4K users with 3.4M Reddit posts, and includes, beyond the users' binary labels, also their fine-grained credibility level (very low to very high) and their political bias strength (extreme right to extreme left). As far as we are aware, this is the first fake news spreader dataset that simultaneously captures both the long-term context of users' historical posts and the interactions between them. To create the first benchmark on our data, we provide methods for identifying misinformation spreaders by utilizing the social connections between the users along with their psycho-linguistic features. We show that the users' social interactions can, on their own, indicate misinformation spreading, while the psycho-linguistic features are mostly informative in non-neural classification settings. In a qualitative analysis, we observe that detecting affective mental processes correlates negatively with right-biased users, and that the openness to experience factor is lower for those who spread fake news.

研究动机与目标

• 为解决在虚假信息检测中缺乏同时结合长期用户行为、可信度与政治偏见的用户级数据集的问题。
• 创建一个基准数据集，用于识别传播虚假新闻与可靠新闻的用户，并提供细粒度的可信度与政治偏见评分。
• 探究社交网络结构与心理语言学特征如何预测虚假信息传播者的行为。
• 探索心理特质（如情感性心理过程与开放性体验）与虚假信息分享之间关系。

提出的方法

• FACTOID 数据集收集了 4,150 名用户在 2020 年 1 月至 2021 年 4 月期间参与政治讨论的 Reddit 帖子，保留了线程结构以支持图建模。
• 用户被标注为二元虚假新闻传播者状态，细粒度可信度（1–5 分制），以及政治偏见（−3 至 +3，极端左翼至极端右翼）。
• 采用图注意力网络（GAT）对用户之间的社交互动进行建模，捕捉仅通过网络结构即可预测虚假信息行为的能力。
• 使用 LIWC 提取心理语言学特征（用于情感性心理过程），使用 BFM 提取人格特质特征（包括开放性体验与思维形式障碍倾向）。
• 通过比较仅使用内容特征（LIWC、BFM）、组合特征以及基于图的模型（GAT）的性能，评估模型表现。
• 采用 5 折交叉验证进行消融研究，评估各特征集对检测性能的贡献。

实验结果

研究问题

• RQ1 仅依靠社交网络互动能否独立于内容特征预测用户是否为虚假信息传播者？
• RQ2 心理语言学特征（如情感性心理过程与开放性体验）与政治偏见及虚假信息分享之间存在何种相关性？
• RQ3 与仅使用二元标签相比，可信度与政治偏见评分在多大程度上提升了虚假新闻传播者的检测效果？
• RQ4 LIWC、BFM 或两者结合的哪种特征组合在检测虚假信息传播者与政治偏见方面能获得最高的 F1 分数？
• RQ5 图注意力网络（GAT）是否在利用社交网络结构识别虚假信息传播者方面优于传统分类器？

主要发现

• GAT 模型在虚假新闻传播者检测任务中优于所有基线模型，表明仅通过社交互动即可有效预测虚假信息行为。
• 右倾用户的情感性心理过程（尤其是焦虑与愤怒等负面情绪）显著较低，表明其与政治极端性呈负相关。
• 虚假新闻传播者在开放性体验方面始终较低，表明其对替代观点的认知开放性较弱。
• 基于 BFM 的特征（尤其是开放性体验）在检测虚假新闻传播者方面优于 LIWC 特征，尽管在政治偏见检测中，嵌入式特征优于基于词典的特征。
• LIWC 与 BFM 特征的组合在使用逻辑回归进行虚假新闻传播者检测时获得最高 F1 分数（63.9%），表明二者具有互补价值。
• 该数据集保留了线程结构，支持基于图的建模，相较于孤立的帖子级分析，能更真实地反映用户互动。