[论文解读] COVID-19 Fake News Detection Using Bidirectional Encoder Representations from Transformers Based Models

Yu-Xiang Wang, Yongheng Zhang+2 more|arXiv (Cornell University)|Sep 30, 2021

Misinformation and Its Impacts参考文献 13被引用 11

一句话总结

本文提出了一种基于 BERT 的模型，通过引入双向 LSTM（BiLSTM）和卷积神经网络（CNN）层来检测与 COVID-19 相关的虚假新闻。通过微调 BERT 并在其顶部添加参数冻结的 BiLSTM 层，该模型实现了最先进（SOTA）的性能，测试准确率达到 96.14%，F1 得分为 0.9646，表明通过 BiLSTM 进行上下文建模可显著提升虚假新闻检测效果，优于使用 CNN 或独立 BERT 的方法。

ABSTRACT

Nowadays, the development of social media allows people to access the latest news easily. During the COVID-19 pandemic, it is important for people to access the news so that they can take corresponding protective measures. However, the fake news is flooding and is a serious issue especially under the global pandemic. The misleading fake news can cause significant loss in terms of the individuals and the society. COVID-19 fake news detection has become a novel and important task in the NLP field. However, fake news always contain the correct portion and the incorrect portion. This fact increases the difficulty of the classification task. In this paper, we fine tune the pre-trained Bidirectional Encoder Representations from Transformers (BERT) model as our base model. We add BiLSTM layers and CNN layers on the top of the finetuned BERT model with frozen parameters or not frozen parameters methods respectively. The model performance evaluation results showcase that our best model (BERT finetuned model with frozen parameters plus BiLSTM layers) achieves state-of-the-art results towards COVID-19 fake news detection task. We also explore keywords evaluation methods using our best model and evaluate the model performance after removing keywords.

研究动机与目标

• 为应对社交媒体中传播的误导性 COVID-19 新闻检测挑战，此类内容常混杂真实与虚假信息元素。
• 通过引入 BiLSTM 和 CNN 等额外神经网络架构增强预训练 BERT 模型，以提升虚假新闻检测性能。
• 评估在微调过程中冻结 BERT 参数对下游分类性能的影响。
• 通过分析去除关键词前后模型注意力机制与性能变化，探究关键词在虚假新闻中的作用。

提出的方法

• 使用来自 Kaggle 的 8,560 条 COVID-19 新闻推文构成的平衡数据集，对预训练 BERT 模型进行微调，其中 90% 用于训练，10% 用于测试。
• 应用 BERT 分词、填充与截断至 512 个标记，并使用注意力掩码处理可变长度序列。
• 构建五种模型：仅 BERT、BERT+CNN（是否微调）、BERT+BiLSTM（是否微调），并在不同配置间比较性能表现。
• 采用交叉熵损失函数进行训练，并通过准确率、ROC AUC、F1 得分与训练损失评估模型性能。
• 通过提取并移除虚假新闻预测中高频词进行关键词分析，评估其对模型输出的影响。
• 可视化模型流程与架构图，以说明 BERT 与序列化及卷积层的集成方式。

实验结果

研究问题

• RQ1 在微调后的 BERT 模型上增加 BiLSTM 或 CNN 层，是否能提升对 COVID-19 相关虚假新闻的检测性能？
• RQ2 在微调过程中冻结 BERT 参数，对虚假新闻检测中的模型准确率与泛化能力有何影响？
• RQ3 虚假新闻中高频关键词在多大程度上影响模型预测？通过移除这些关键词后性能变化进行衡量。
• RQ4 额外层带来的性能提升，是源于更好的上下文建模（BiLSTM）还是更优的特征提取（CNN）？
• RQ5 学习率与训练轮数等超参数设置，如何影响模型收敛性与评估指标表现？

主要发现

• 使用参数冻结策略微调 BERT 并附加 BiLSTM 层的模型（模型 4）取得了最高的测试准确率 96.14%，优于所有其他配置。
• 模型 4 同时实现了最佳 F1 得分 0.9646 与 ROC AUC 0.9607，表明其在精确率与召回率之间具有优异的平衡。
• 在相同条件下，添加 BiLSTM 层的性能优于 CNN 层，表明序列上下文建模在本任务中比局部特征提取更具优势。
• 在微调过程中冻结 BERT 参数的策略优于微调全部参数，可能由于数据集规模有限，微调全部参数易导致过拟合。
• 从虚假新闻输入中移除最频繁的关键词后，模型性能未出现显著下降，表明模型更依赖于整体上下文模式而非孤立词汇。
• 微调 BERT 参数并结合 BiLSTM 层的模型（模型 5）性能劣于参数冻结的对应版本，进一步证实参数冻结有助于在小样本数据集上稳定学习。