[论文解读] It's Always April Fools' Day! On the Difficulty of Social Network Misinformation Classification via Propagation Features

Mauro Conti, Daniele Lain+3 more|IMT Institutional Repository (IMT School for Advanced Studies Lucca)|Jan 16, 2017

Misinformation and Its Impacts参考文献 36被引用 4

一句话总结

本文研究了社交媒体内容的结构传播特征（如级联拓扑结构和用户互动模式）是否能可靠地分类 Facebook 上的虚假信息。尽管使用了稳健且抗操纵的特征，研究发现分类性能依然较差（传播过程中 F1 分数 ≤ 0.65，完成时 < 0.70），表明虚假信息与真实科学内容在扩散动态上难以区分，挑战了纯传播特征驱动检测系统的可行性。

ABSTRACT

Given the huge impact that Online Social Networks (OSN) had in the way people get informed and form their opinion, they became an attractive playground for malicious entities that want to spread misinformation, and leverage their effect. In fact, misinformation easily spreads on OSN and is a huge threat for modern society, possibly influencing also the outcome of elections, or even putting people's life at risk (e.g., spreading "anti-vaccines" misinformation). Therefore, it is of paramount importance for our society to have some sort of "validation" on information spreading through OSN. The need for a wide-scale validation would greatly benefit from automatic tools. In this paper, we show that it is difficult to carry out an automatic classification of misinformation considering only structural properties of content propagation cascades. We focus on structural properties, because they would be inherently difficult to be manipulated, with the the aim of circumventing classification systems. To support our claim, we carry out an extensive evaluation on Facebook posts belonging to conspiracy theories (as representative of misinformation), and scientific news (representative of fact-checked content). Our findings show that conspiracy content actually reverberates in a way which is hard to distinguish from the one scientific content does: for the classification mechanisms we investigated, classification F1-score never exceeds 0.65 during content propagation stages, and is still less than 0.7 even after propagation is complete.

研究动机与目标

• 评估内容传播级联的结构特征是否能可靠地分类社交网络中的虚假信息。
• 评估这些特征（被认为难以被攻击者操纵）是否能实现有效的自动虚假信息检测。
• 比较 Facebook 上阴谋论帖子与经过核实的科学新闻的传播动态。
• 确定早期阶段或最终阶段的传播特征是否能提供可用的分类性能。
• 调查回音室效应和用户极化是否掩盖了内容类型之间的结构差异。

提出的方法

• 本研究分析了意大利科学类与阴谋论类页面在 Facebook 上的帖子，通过 Facebook Graph API 使用公开可用的数据。
• 从传播级联中提取了 28 项结构特征，包括拓扑属性（如深度、宽度、分支因子）和用户互动模式。
• 在未平衡和欠采样平衡的数据集上分别训练了三种分类器：线性判别分析（LD）、随机森林（RF）和多层感知机（MLP）。
• 使用五折交叉验证评估性能，指标包括 AUC、Cohen’s Kappa、精确率、召回率、准确率和 F1 分数。
• 分析比较了两个阶段的分类性能：传播早期和传播完成阶段。
• 本研究采用欠采样方法平衡数据集并减少偏差，以确保分类器性能的公平评估。

实验结果

研究问题

• RQ1 仅依靠结构传播特征，能否在 Facebook 上可靠地区分虚假信息与真实科学内容？
• RQ2 从级联拓扑结构来看，阴谋论内容的传播动态是否与科学内容存在显著差异？
• RQ3 早期传播阶段的特征是否能在内容完全扩散前实现可靠的虚假信息检测？
• RQ4 回音室效应和用户极化在多大程度上掩盖了内容扩散中的结构差异？
• RQ5 基于传播的分类器性能是否显著优于随机基线分类？

主要发现

• 在传播早期阶段，所有分类器的最佳 F1 分数为 0.65，表明仅凭结构特征对虚假信息进行分类的能力有限。
• 即使在传播完成之后，最高 F1 分数仍低于 0.70，表明其性能仅比随机分类略有提升。
• AUC 和 Cohen’s Kappa 指标均低于 0.75，ROC 曲线接近随机基线，表明判别能力较差。
• 随机森林（RF）和多层感知机（MLP）优于线性判别分析（LD），但仍未能实现可用的分类性能。
• 结果表明，阴谋论内容与科学内容遵循相似的传播模式，可能由于回音室效应强化了类似的结构级联。
• 本研究结论认为，若不结合内容相关特征或用户极化度量，基于传播的检测方法是不足的。