[论文解读] A Comprehensive Low and High-level Feature Analysis for Early Rumor Detection on Twitter

Tu N. Nguyen|arXiv (Cornell University)|Nov 2, 2017

Misinformation and Its Impacts参考文献 20被引用 3

一句话总结

本文提出一种级联式谣言检测模型，利用深度神经网络在早期阶段从单条推文学习低层次隐藏表征，并将其与高层次特征结合，以提升早期谣言检测效果。通过分析48小时内特征的时间动态，该方法在25小时内达到87%的准确率——与人工编辑表现相当，表明低层次表征是早期最有效的信号之一。

ABSTRACT

Recent work have done a good job in modeling rumors and detecting them over microblog streams. However, the performance of their automatic approaches are not relatively high when looking early in the diffusion. A first intuition is that, at early stage, most of the aggregated rumor features (e.g., propagation features) are not mature and distinctive enough. The objective of rumor debunking in microblogs, however, are to detect these misinformation as early as possible. In this work, we leverage neural models in learning the hidden representations of individual rumor-related tweets at the very beginning of a rumor. Our extensive experiments show that the resulting signal improves our classification performance over time, significantly within the first 10 hours. To deepen the understanding of these low and high-level features in contributing to the model performance over time, we conduct an extensive study on a wide range of high impact rumor features for the 48 hours range. The end model that engages these features are shown to be competitive, reaches over 90% accuracy and out-performs strong baselines in our carefully cured dataset.

研究动机与目标

• 解决在基于传播的特征尚未充分发展时，早期谣言检测的挑战。
• 提升谣言在传播初期10至48小时内（信号稀疏阶段）的检测性能。
• 研究低层次与高层次特征随时间的演变过程，以理解其在分类任务中的随时间贡献。
• 开发一种级联模型，整合单条推文的可信度评分与时间序列特征动态，以提升检测效果。
• 与人工专家对比，验证系统在早期检测能力与现实相关性方面的表现。

提出的方法

• 使用预训练的卷积神经网络（CNN）从单条推文文本中学习深度低层次表征，捕捉超越简单关键词的隐藏可信度信号。
• 基于神经模型对每条推文的可信度预测结果，计算其“可信度评分（CreditScore）”，作为推文层面真实性程度的代理指标。
• 提取广泛的高层次特征（如传播模式、情感倾向、URL内容、用户人口统计信息），并以时间序列格式组织，以建模时间动态。
• 将可信度评分与高层次特征整合为一个随时间动态演化的特征向量，以捕捉事件的演变过程。
• 基于此时间序列特征表示训练分类器，以区分谣言与真实新闻，并在多个时间点评估性能。
• 设定72小时的阈值以与人工事实核查的时间线对齐，使用Snopes作为谣言确认时间的基准数据源。

实验结果

研究问题

• RQ1 与传统高层次特征相比，单条推文的低层次神经表征在早期谣言检测中的贡献如何？
• RQ2 不同特征类型（低层次 vs. 高层次）的预测性能在谣言传播的前48小时内如何演变？
• RQ3 尽管高层次特征后期表现优异，为何其在早期阶段表现不佳？
• RQ4 结合单条推文可信度与时间序列特征动态的级联模型，是否能优于强基线模型，在早期谣言检测中表现更优？
• RQ5 在检测速度与准确率方面，该系统与人工事实核查员的表现相比如何？

主要发现

• 单条推文的低层次神经表征是早期谣言检测中表现最佳的特征之一，在传播最初10小时内优于许多高层次特征。
• 该模型在25小时内达到87%的准确率——与人工编辑平均验证谣言所需时间相当，表明其具备强大的早期检测能力。
• 高层次特征（如传播模式和基于用户信号）在早期阶段表现不佳，因其固有的累积性特征需要时间才能成熟。
• 源自神经可信度模型的可信度评分（CreditScore）随时间趋于稳定，即使在单条推文存在噪声或矛盾的情况下，仍保持强信号作用。
• 动态时间序列特征模型能有效捕捉特征的时间演化过程，在长达48小时的所有时间窗口内均提升了分类性能。
• 研究表明，尽管高层次特征在谣言生命周期后期表现强劲，但低层次表征在早期检测中至关重要，提示未来模型需更好地整合多样化信号源。