[论文解读] A Deep Ensemble Framework for Fake News Detection and Classification

Arjun Roy, Kingshuk Basak+2 more|arXiv (Cornell University)|Nov 12, 2018

Misinformation and Its Impacts参考文献 8被引用 71

一句话总结

一个集成深度学习框架，将 CNN 和 Bi-LSTM 与基于关系的属性处理相结合，在 LIAR 数据集上执行对细粒度假新闻的分类，准确率达到 44.87%。

ABSTRACT

Fake news, rumor, incorrect information, and misinformation detection are nowadays crucial issues as these might have serious consequences for our social fabrics. The rate of such information is increasing rapidly due to the availability of enormous web information sources including social media feeds, news blogs, online newspapers etc. In this paper, we develop various deep learning models for detecting fake news and classifying them into the pre-defined fine-grained categories. At first, we develop models based on Convolutional Neural Network (CNN) and Bi-directional Long Short Term Memory (Bi-LSTM) networks. The representations obtained from these two models are fed into a Multi-layer Perceptron Model (MLP) for the final classification. Our experiments on a benchmark dataset show promising results with an overall accuracy of 44.87\%, which outperforms the current state of the art.

研究动机与目标

• 为简短陈述中的自动化、细粒度假新闻检测的需求提供动机并予以解决。
• 开发一个利用序列模式和隐藏特征来将陈述分类为六个细粒度类别的集成深度学习模型。
• 结合说话人档案属性及其关系，以提升信息整合从而用于分类。
• 在现有模型基础上评估方法并分析错误，以识别局限性与未来方向。

提出的方法

• 使用 Bi-LSTM 网络从陈述和属性特定输入中捕捉序列信息。
• 使用 CNN 提取属性嵌入和信用历史相关输入的隐藏特征。
• 通过单独的网络层处理多组基于关系的属性对，以学习属性之间的关系。
• 融合 CNN 与 Bi-LSTM 分支的表示，并通过全连接层进行多类 softmax 分类，覆盖六个标签。
• 在 LIAR 数据集上使用 Adadelta 优化和分类交叉熵损失进行训练。
• 使用 300 维 Google News 向量对输入进行嵌入并按描述将输入填充到固定长度。

实验结果

研究问题

• RQ1 一个深度集成的 CNN 与 Bi-LSTM 模型是否能在细粒度假新闻分类上优于现有的单模型方法？
• RQ2 说话人属性及其相互关系如何帮助改进对简短政治陈述的分类？
• RQ3 将关系特定网络相结合对整体准确性和按类性能有何影响？

主要发现

模型	网络	取自属性	准确率
William Yang Wang [8]	Hybrid CNN	All	0.274
Y. Long et al. [9]	Hybrid LSTM	All	0.415
Bi-LSTM Model	Bi-LSTM	All	0.4265
CNN Model	CNN	All	0.4289
Our Proposed Model	RNN-CNN combined	All	0.4487

• 所提出的 RNN-CNN 集成达到 0.4487 的准确率，超越所引用的最先进模型（单独基线的 0.415 和 0.4265/0.4289）。
• Bi-LSTM 和 CNN 单独分别达到 0.4265 和 0.4289 的准确率，而组合模型在测试配置中表现最佳。
• 按类别的精确度、召回率和 F1 显示出波动，TRUE 类具有高精度但召回率低，表明对 TRUE 预测较为保守但准确。
• 混淆分析显示大多数错误发生在相关性较近的类别之间（如 Pants-Fire 与 False、Half-True 与 Mostly True）。
• 模型受益于对说话人画像及其历史计数的显式编码，后续分析表明更多标签数据将进一步提升性能。