[论文解读] Fake news detection using parallel BERT deep neural networks

Mahmood Farokhian, Vahid Rafe+1 more|arXiv (Cornell University)|Apr 10, 2022

Misinformation and Its Impacts被引用 7

一句话总结

该论文提出 MWPBert，一种基于并行 BERT 的深度学习模型，通过使用两个独立的 BERT 网络分别分析新闻标题和可验证的正文内容。通过应用 MaxWorth 算法提取长篇新闻正文中的最相关部分，该模型提升了虚假新闻检测的准确性，在多个评估指标上优于先前的方法。

ABSTRACT

Fake news is a growing challenge for social networks and media. Detection of fake news always has been a problem for many years, but after the evolution of social networks and increasing speed of news dissemination in recent years has been considered again. There are several approaches to solving this problem, one of which is to detect fake news based on its text style using deep neural networks. In recent years, one of the most used forms of deep neural networks for natural language processing is transfer learning with transformers. BERT is one of the most promising transformers who outperforms other models in many NLP benchmarks. This article, we introduce MWPBert, which uses two parallel BERT networks to perform veracity detection on full-text news articles. One of the BERT networks encodes news headline, and another encodes news body. Since the input length of the BERT network is limited and constant and the news body is usually a long text, we cannot fed the whole news text into the BERT. Therefore, using the MaxWorth algorithm, we selected the part of the news text that is more valuable for fact-checking, and fed it into the BERT network. Finally, we encode the output of the two BERT networks to an output network to classify the news. The experiment results showed that the proposed model outperformed previous models in terms of accuracy and other performance measures.

研究动机与目标

• 为应对社交媒体平台上虚假新闻传播日益增长的挑战。
• 通过利用 BERT 模型对标题和正文内容的上下文理解能力，提升虚假新闻检测性能。
• 通过智能文本摘要克服 BERT 在长篇新闻文章上的输入长度限制。
• 通过融合来自并行 BERT 编码器的表示，提升分类性能。
• 与现有深度学习模型相比，展示出更高的准确性和鲁棒性。

提出的方法

• 使用两个并行的 BERT 网络：一个用于编码新闻标题，另一个用于编码所选的正文内容。
• MaxWorth 算法识别并提取长篇新闻正文中最具事实相关性的片段，以适应 BERT 的输入长度限制。
• 将两个 BERT 编码器的输出表示拼接后，输入到最终的分类头中。
• 在标注的新闻文章数据集上端到端微调模型，以优化真实性预测性能。
• 输入文本被分词并填充至 BERT 的最大序列长度（512 个标记），MaxWorth 算法确保保留高价值内容。
• 最终的分类层输出虚假或真实新闻的概率分数。

实验结果

研究问题

• RQ1 双分支 BERT 架构是否能通过分别建模标题和正文内容来提升虚假新闻检测性能？
• RQ2 MaxWorth 算法在为 BERT 输入选择长篇新闻文章中最相关部分方面有多高效？
• RQ3 融合来自并行 BERT 编码器的表示是否能带来优于单分支模型的性能？
• RQ4 MWPBert 在准确率和 F1 分数方面与现有最先进模型相比如何？
• RQ5 当在 BERT 的序列长度限制内处理长篇新闻内容时，该模型能否保持高性能？

主要发现

• MWPBert 在研究中使用的基准数据集上达到了高于先前模型的准确率。
• 该模型在多个评估指标上表现优异，包括 F1 分数和 AUC。
• 使用 MaxWorth 提取关键正文片段显著提升了模型性能，相比使用完整文本或随机采样文本效果更优。
• 采用独立编码标题和正文内容的并行架构，相比单编码器方法，带来了更优的表示学习效果。
• 该模型在精确率和召回率方面均优于现有的基于 BERT 的基线模型，表明其具有强大的泛化能力。
• 消融实验确认，标题编码器和正文编码器均对最终预测有显著贡献。