[论文解读] Fake News Detection Using Majority Voting Technique

D. R. Patil|arXiv (Cornell University)|Mar 18, 2022

Misinformation and Its Impacts被引用 5

一句话总结

本文提出了一种基于多数投票的集成模型，用于检测虚假新闻，使用了来自公开数据集的10,387篇真实新闻和10,413篇虚假新闻文章。通过结合多个分类器——决策树、逻辑回归、XGBoost、随机森林、极端随机森林、AdaBoost、SVM、SGD和朴素贝叶斯——该方法在测试集上实现了96.38%的准确率、96%的精确率、96%的召回率和96%的F1得分，优于所有单个模型。

ABSTRACT

Due to the evolution of the Web and social network platforms it becomes very easy to disseminate the information. Peoples are creating and sharing more information than ever before, which may be misleading, misinformation or fake information. Fake news detection is a crucial and challenging task due to the unstructured nature of the available information. In the recent years, researchers have provided significant solutions to tackle with the problem of fake news detection, but due to its nature there are still many open issues. In this paper, we have proposed majority voting approach to detect fake news articles. We have used different textual properties of fake and real news. We have used publicly available fake news dataset, comprising of 20,800 news articles among which 10,387 are real and 10,413 are fake news labeled as binary 0 and 1. For the evaluation of our approach, we have used commonly used machine learning classifiers like, Decision Tree, Logistic Regression, XGBoost, Random Forest, Extra Trees, AdaBoost, SVM, SGD and Naive Bayes. Using the aforementioned classifiers, we built a multi-model fake news detection system using Majority Voting technique to achieve the more accurate results. The experimental results show that, our proposed approach achieved accuracy of 96.38%, precision of 96%, recall of 96% and F1-measure of 96%. The evaluation confirms that, Majority Voting technique achieved more acceptable results as compare to individual learning technique.

研究动机与目标

• 为应对社交媒体和网络平台中虚假新闻传播日益增长的挑战。
• 通过集成学习结合多种机器学习分类器，提升检测准确率。
• 评估多数投票在提升虚假新闻检测性能方面的作用，超越单个模型的表现。
• 提供一种基于公开文本特征和标准分类器的稳健且可扩展的解决方案。

提出的方法

• 本研究采用基于九种不同机器学习分类器的多模型集成方法：决策树、逻辑回归、XGBoost、随机森林、极端随机森林、AdaBoost、SVM、SGD和朴素贝叶斯。
• 每个分类器均基于从20,800篇新闻文章中提取的文本特征进行训练，标签为二值（0表示真实，1表示虚假）。
• 采用多数投票策略聚合所有九个分类器的预测结果，最终预测结果由得票最多的类别决定。
• 该方法基于一个原则：结合多样化的模型可降低方差并提升泛化能力，尤其适用于噪声大且非结构化的文本数据。
• 评估使用标准指标进行，包括准确率、精确率、召回率和F1得分，均在相同的测试集上进行。

实验结果

研究问题

• RQ1 与单个模型相比，使用多种机器学习分类器的集成模型是否能提升虚假新闻检测的准确率？
• RQ2 多数投票技术在整合多个分类器的预测结果方面，对虚假新闻检测的效率如何？
• RQ3 在真实世界虚假新闻数据集上，通过多数投票结合多个分类器能获得多大的性能提升？
• RQ4 该集成方法是否在保持高精确率和高召回率的同时，有效减少假阳性和假阴性？

主要发现

• 所提出的多数投票集成模型在测试集上实现了96.38%的准确率。
• 该模型的精确率为96%，表明对正样本预测具有高度置信度。
• 召回率为96%，表明模型正确识别了96%的虚假新闻实例。
• F1得分达到96%，反映出精确率与召回率的平衡调和均值。
• 集成方法优于所有单个分类器，证明了通过多数投票进行模型平均的有效性。