[论文解读] Evaluating BERT-based Pre-training Language Models for Detecting Misinformation

Rini Anggrainingsih, Ghulam Mubashar Hassan+1 more|arXiv (Cornell University)|Mar 15, 2022

Misinformation and Its Impacts被引用 5

一句话总结

本文提出了一种基于 BERT 的微调方法，用于自动化虚假信息检测，利用预训练语言模型将文本编码为密集向量，并通过神经网络进行分类。该方法在短文本和长文本数据集上均优于最先进技术，尤其在使用更大规模的联合数据集进行训练时，性能显著提升。

ABSTRACT

It is challenging to control the quality of online information due to the lack of supervision over all the information posted online. Manual checking is almost impossible given the vast number of posts made on online media and how quickly they spread. Therefore, there is a need for automated rumour detection techniques to limit the adverse effects of spreading misinformation. Previous studies mainly focused on finding and extracting the significant features of text data. However, extracting features is time-consuming and not a highly effective process. This study proposes the BERT- based pre-trained language models to encode text data into vectors and utilise neural network models to classify these vectors to detect misinformation. Furthermore, different language models (LM) ' performance with different trainable parameters was compared. The proposed technique is tested on different short and long text datasets. The result of the proposed technique has been compared with the state-of-the-art techniques on the same datasets. The results show that the proposed technique performs better than the state-of-the-art techniques. We also tested the proposed technique by combining the datasets. The results demonstrated that the large data training and testing size considerably improves the technique's performance.

研究动机与目标

• 为应对由于在线内容数量庞大且传播迅速，导致在大规模场景下检测虚假信息的挑战。
• 克服以往方法中人工事实核查和特征工程的局限性。
• 评估基于 BERT 的预训练语言模型在编码和分类虚假信息方面的有效性。
• 比较不同 BERT 变体在不同可训练参数数量下的性能表现。
• 评估数据集规模和数据组合对模型泛化能力和准确率的影响。

提出的方法

• 微调基于 BERT 的预训练语言模型，将输入文本编码为上下文相关的向量表示。
• 将生成的序列表示输入全连接神经网络，实现对虚假信息的二分类。
• 评估多种 BERT 变体（如 base、large）在不同可训练参数数量下的表现。
• 在短文本（如社交媒体）和长文本（如新闻文章）数据集上进行模型训练与测试。
• 整合多个数据集以扩大训练数据规模，并评估性能增益。
• 使用标准 NLP 指标（如准确率、F1 分数）与最先进方法进行结果对比。

实验结果

研究问题

• RQ1 与传统基于特征的方法相比，基于 BERT 的预训练语言模型在虚假信息检测中的有效性如何？
• RQ2 不同 BERT 变体在可训练参数数量不同的情况下，模型性能如何变化？
• RQ3 整合多个数据集是否能提升虚假信息检测模型的泛化能力和准确率？
• RQ4 训练数据规模如何影响基于 BERT 的分类模型性能？
• RQ5 所提出的方法是否能在短文本和长文本虚假信息检测任务中均超越现有最先进技术？

主要发现

• 所提出的基于 BERT 的方法在短文本和长文本数据集上均优于最先进技术。
• 通过数据集组合扩大训练数据规模后，性能显著提升。
• 可训练参数更多的大型 BERT 模型表现出更高的分类准确率。
• 模型在不同长度的文本上均保持良好性能，表明对输入变化具有鲁棒性。
• 端到端微调 BERT 进行分类，相比人工特征提取方法，在效率和准确率上均更优。
• 结果证实，预训练语言模型能够有效捕捉虚假信息检测的上下文线索，而无需大量特征工程。