[论文解读] A transformer based approach for fighting COVID-19 fake news

S. M. Sadiq-Ur-Rahman Shifath, Mohammad Faiyaz Khan+1 more|arXiv (Cornell University)|Jan 28, 2021

Misinformation and Its Impacts参考文献 21被引用 31

一句话总结

本论文构建了一个由八个基于 transformer 的预训练模型及其 MLP 头组成的堆叠集成，用于检测COVID-19假新闻，在比赛测试/验证集上实现约0.98的准确率。

ABSTRACT

The rapid outbreak of COVID-19 has caused humanity to come to a stand-still and brought with it a plethora of other problems. COVID-19 is the first pandemic in history when humanity is the most technologically advanced and relies heavily on social media platforms for connectivity and other benefits. Unfortunately, fake news and misinformation regarding this virus is also available to people and causing some massive problems. So, fighting this infodemic has become a significant challenge. We present our solution for the "Constraint@AAAI2021 - COVID19 Fake News Detection in English" challenge in this work. After extensive experimentation with numerous architectures and techniques, we use eight different transformer-based pre-trained models with additional layers to construct a stacking ensemble classifier and fine-tuned them for our purpose. We achieved 0.979906542 accuracy, 0.979913119 precision, 0.979906542 recall, and 0.979907901 f1-score on the test dataset of the competition.

研究动机与目标

• 研究在英语中有效检测COVID-19假新闻，以遏制信息疫情。
• 评估多种基于Transformer的预训练模型在竞赛数据集上的文本分类表现。
• 开发一个集成框架，利用多样的Transformer表示以提高准确性。

提出的方法

• 对八个Transformer模型（BERT、GPT-2、XLNet、RoBERTa、DistilRoBERTa、ALBERT、BART、DeBERTa）进行微调，并为每个模型添加一个MLP头。
• 在各个模型的预测基础上训练一个元学习器（全连接层）以产生最终输出。
• 在Transformer表示之上尝试使用RCNN、SVM和MLP，并与传统模型（Bi-LSTM、1D-CNN、HAN、RCNN、AMCNN）进行比较。
• 构建一个堆叠集成，使用来自模型输出的1x8特征向量喂入元学习器。
• 使用额外的外部数据集（FakeCovid）进行数据增强，然后评估额外数据对验证性能的影响。
• 在学习率、层大小和正则化方面进行超参数调优，以在性能与过拟合之间取得平衡。

实验结果

研究问题

• RQ1 将多种Transformer模型与一个MLP头结合在COVID-19假新闻检测上，性能提升有多大？
• RQ2 在Constraint@AAAI2021数据集上，集成学习与单一Transformer模型及传统架构相比表现如何？
• RQ3 添加外部数据是否因类别不平衡或数据集偏移而提高或降低验证准确性？
• RQ4 各种元学习器架构对模型预测融合性能有何影响？

主要发现

模型	准确率	f1分数	精确度	召回率	假新闻	真实新闻
Ensemble-v1	0.981	0.980	0.982	0.980	0.983	0.981
Ensemble-v2	0.983	0.982	0.984	0.986	0.980	0.978	0.988
Ensemble-v3	0.984	0.983	0.984	0.983	0.984	0.982

• Transformer基线（RoBERTa、BERT）在验证数据上明显优于传统模型。
• Transformer上的简单顶层分类器也能产生强结果；与RCNN或SVM的组合未超过简单的Transformer。
• 在RoBERTa及其他模型上方的MLP提升了性能，RoBERTa+MLP达到较高指标。
• 将八种不同的Transformer模型进行集成（Ensemble-v3）获得最高的验证准确率（0.984）和F1分数（0.983）。
• Ensemble-v1在验证集上达到0.981的准确率；Ensemble-v2达到0.983的准确率；Ensemble-v3在验证集上达到0.984的准确率。
• 增加更多数据可能由于类别不平衡而降低性能；为维持泛化，最终模型训练未使用额外数据。