[论文解读] Fake News Detection with Different Models

Sairamvinay Vijayaraghavan, Ye Wang+8 more|arXiv (Cornell University)|Feb 15, 2020

Misinformation and Its Impacts参考文献 9被引用 9

一句话总结

本文通过多种NLP模型研究基于文本的虚假新闻检测，比较了TF-IDF、CountVectorizer和Word2Vec在文本表示中的表现，随后评估了包括神经网络和LSTM在内的机器学习模型。CountVectorizer与LSTM的组合取得了最佳性能，表明结合上下文词表示与序列建模可显著提升虚假新闻检测的准确率。

ABSTRACT

This is a paper for exploring various different models aiming at developing fake news detection models and we had used certain machine learning algorithms and we had used pretrained algorithms such as TFIDF and CV and W2V as features for processing textual data.

研究动机与目标

• 为应对虚假信息日益严重的问题，开发一种准确、自动化的系统，用于将新闻文章分类为真实或虚假。
• 评估不同文本向量化技术——TF-IDF、CountVectorizer和Word2Vec——在保留上下文信息方面对虚假新闻检测的有效性。
• 在相同数据集上比较各种机器学习模型（包括传统分类器和深度学习架构）的性能。
• 识别最优的模型流水线，结合预训练向量化与微调技术，以实现虚假新闻检测。

提出的方法

• 本研究采用二元分类框架，将虚假新闻视为正样本（标签=1），真实新闻为负样本（标签=0）。
• 通过去除数字、标点符号和停用词对文本数据进行预处理，以减少噪声并提升模型泛化能力。
• 应用三种文本向量化方法：TF-IDF、CountVectorizer和Word2Vec，每种方法均将原始文本转换为数值特征向量。
• 评估五种下游模型：支持向量机（SVM）、逻辑回归、随机森林、人工神经网络（ANN）和长短期记忆（LSTM）网络。
• 通过网格搜索和ROC曲线分析确定最佳性能模型，模型评估基于准确率和F1分数。
• 最终流水线结合CountVectorizer进行特征提取，LSTM进行序列建模，充分利用词频与序列上下文信息。

实验结果

研究问题

• RQ1 在TF-IDF、CountVectorizer和Word2Vec三种文本向量化方法中，哪一种能最好地保留虚假新闻检测所需的上下文信息？
• RQ2 传统机器学习模型（如SVM、逻辑回归）与深度学习模型（如ANN、LSTM）在虚假新闻分类中的表现如何比较？
• RQ3 将传统向量化器（如CountVectorizer）与序列模型（如LSTM）结合，是否能获得优于独立使用模型的性能？
• RQ4 通过使用更大语料库中的预训练嵌入或更先进的架构（如BERT）是否能进一步提升模型性能？

主要发现

• 在三种预训练向量化算法中，Word2Vec整体表现最差，而CountVectorizer在大多数评估场景中优于TF-IDF。
• 在五种微调算法中，神经网络（ANN和LSTM）的性能优于SVM和逻辑回归等传统分类器。
• CountVectorizer与LSTM的组合实现了最高的分类性能，表明序列建模能从基于频率的词表示中获益。
• 研究发现，使用Word2Vec嵌入的LSTM模型（具备真实循环结构）表现出较强潜力，但因计算成本过高和时间限制被排除。
• 作者建议，未来改进可借助更大规模的预训练嵌入（如GloVe）或最先进的模型（如BERT和Transformer），这些模型支持并行化处理并具备更优的上下文建模能力。
• 当前模型流水线在二元分类任务中表现有效，但针对更复杂的任务（如多类别虚假新闻分类），可能需要进行调整，例如采用双向LSTM或多分类头结构。