[论文解读] Fake News Detection in Spanish Using Deep Learning Techniques

Kevin Martínez-Gallego, Andrés M. Álvarez-Ortiz+1 more|arXiv (Cornell University)|Oct 13, 2021

Misinformation and Its Impacts参考文献 9被引用 12

一句话总结

本文提出了一种基于迁移学习的深度学习方法，用于检测西班牙语中的虚假新闻，评估了在西班牙语数据上微调、使用英语预训练模型以及机器翻译等策略。表现最佳的模型结合了BETO（一种西班牙语BERT变体）与LSTM网络，准确率达到80%，优于传统模型如随机森林，凸显了针对低资源语言进行语言特定预训练的重要性。

ABSTRACT

This paper addresses the problem of fake news detection in Spanish using Machine Learning techniques. It is fundamentally the same problem tackled for the English language; however, there is not a significant amount of publicly available and adequately labeled fake news in Spanish to effectively train a Machine Learning model, similarly to those proposed for the English language. Therefore, this work explores different training strategies and architectures to establish a baseline for further research in this area. Four datasets were used, two in English and two in Spanish, and four experimental schemes were tested, including a baseline with classical Machine Learning models, trained and validated using a small dataset in Spanish. The remaining schemes include state-of-the-art Deep Learning models trained (or fine-tuned) and validated in English, trained and validated in Spanish, and fitted in English and validated with automatic translated Spanish sentences. The Deep Learning architectures were built on top of different pre-trained Word Embedding representations, including GloVe, ELMo, BERT, and BETO (a BERT version trained on a large corpus in Spanish). According to the results, the best strategy was a combination of a pre-trained BETO model and a Recurrent Neural Network based on LSTM layers, yielding an accuracy of up to 80%; nonetheless, a baseline model using a Random Forest estimator obtained similar outcomes. Additionally, the translation strategy did not yield acceptable results because of the propagation error; there was also observed a significant difference in models performance when trained in English or Spanish, mainly attributable to the number of samples available for each language.

研究动机与目标

• 为解决缺乏大规模、公开可用且标注正确的西班牙语虚假新闻数据集的问题，以训练鲁棒的机器学习模型。
• 评估使用预训练词嵌入（如GloVe、ELMo、BERT和BETO）进行虚假新闻检测的迁移学习策略。
• 比较在英语与西班牙语数据上训练的性能差异，并评估将英语训练模型用于西班牙语的可行性。
• 为未来基于深度学习和迁移学习技术的西班牙语虚假新闻检测研究建立基线。

提出的方法

• 评估了四种实验方案：(1) 使用小型西班牙语数据集的经典机器学习方法，(2) 在西班牙语数据上微调最先进的深度学习模型，(3) 在英语数据上训练并在西班牙语数据上验证，(4) 在英语数据上训练并在机器翻译的西班牙语文本上验证。
• 使用了包括GloVe、ELMo、BERT和BETO在内的预训练词嵌入作为深度学习架构的基础。
• 在嵌入表示之上堆叠LSTM和基于CNN的神经网络，以将新闻分类为虚假或真实。
• 研究采用了早停法和正则化技术，以减轻过拟合，尤其是在数据量较少的情况下。
• 文本预处理包括停用词去除和词干提取，但其对性能的影响较小。
• 性能评估采用准确率、F1分数和混淆矩阵，学习曲线用于分析数据效率。

实验结果

研究问题

• RQ1 与基于英语的模型相比，使用BETO等预训练语言模型进行迁移学习是否能显著提升西班牙语虚假新闻检测的准确率？
• RQ2 在西班牙语数据上训练和验证与将英语训练模型用于西班牙语时，性能表现有何差异？
• RQ3 数据稀缺对模型泛化能力有何影响，特别是在西班牙语等低资源语言中？
• RQ4 使用语义特征或高级嵌入是否能超越传统TF-IDF和经典机器学习模型的检测性能？

主要发现

• 表现最佳的模型是BETO嵌入与LSTM网络的结合，其在西班牙语测试集上的准确率达到80%。
• 使用TF-IDF表示的随机森林分类器也达到了80%的准确率，表明在小数据集上经典机器学习方法可与深度学习方法媲美。
• 基于翻译的策略（在英语上训练并在翻译后的西班牙语文本上验证）表现较差，准确率因翻译错误和词汇不匹配而大幅下降。
• 在英语数据上训练的模型优于在西班牙语数据上训练的模型，主要原因是英语可用的训练样本数量更多。
• 混淆矩阵显示，主要错误类型是将虚假新闻误分类为真实新闻，表明模型倾向于忽略细微的操纵模式。
• 尽管准确率相似，BETO + LSTM模型在获得更多标注数据时展现出更大的改进潜力，表明其在可扩展性方面优于经典模型。