[论文解读] Localization of Fake News Detection via Multitask Transfer Learning

Jan Christian Blaise Cruz, Julianne Agatha Tan+1 more|arXiv (Cornell University)|Oct 21, 2019

Misinformation and Its Impacts参考文献 20被引用 16

一句话总结

本文介绍了首个由专家整理的菲律宾语虚假新闻数据集 'Fake News Filipino'，并证明了结合辅助语言建模损失的多任务迁移学习方法可显著提升虚假新闻检测的准确率——在低资源数据上达到96%的准确率，较标准迁移学习高出4-6%。该方法通过多任务训练实现风格适应，增强了模型在各类文章类型中的鲁棒性。

ABSTRACT

The use of the internet as a fast medium of spreading fake news reinforces the need for computational tools that combat it. Techniques that train fake news classifiers exist, but they all assume an abundance of resources including large labeled datasets and expert-curated corpora, which low-resource languages may not have. In this work, we make two main contributions: First, we alleviate resource scarcity by constructing the first expertly-curated benchmark dataset for fake news detection in Filipino, which we call "Fake News Filipino." Second, we benchmark Transfer Learning (TL) techniques and show that they can be used to train robust fake news classifiers from little data, achieving 91% accuracy on our fake news dataset, reducing the error by 14% compared to established few-shot baselines. Furthermore, lifting ideas from multitask learning, we show that augmenting transformer-based transfer techniques with auxiliary language modeling losses improves their performance by adapting to writing style. Using this, we improve TL performance by 4-6%, achieving an accuracy of 96% on our best model. Lastly, we show that our method generalizes well to different types of news articles, including political news, entertainment news, and opinion articles.

研究动机与目标

• 解决低资源语言（尤其是菲律宾语）在虚假新闻检测方面缺乏专家整理的基准数据集的问题。
• 开发并评估在低资源环境下仅使用有限标注数据时仍能实现高性能的迁移学习技术。
• 通过整合辅助语言建模损失，提升模型对下游虚假新闻分类任务中写作风格的适应能力，从而增强模型鲁棒性。
• 证明所提出方法在多种文章类型（包括政治类、娱乐类和观点类文章）中的泛化能力。
• 为菲律宾语以外的低资源语言提供可扩展、可迁移的虚假新闻检测框架。

提出的方法

• 构建了包含3,206篇文章的 'Fake News Filipino' 数据集，真实与虚假文章各占一半，数据来源为主流新闻媒体和事实核查机构。
• 采用 ULMFiT、BERT 和 GPT-2 等迁移学习模型，在低资源数据集上微调，利用预训练的语言表示。
• 通过引入多任务学习的辅助语言建模目标，提升性能，使模型能够适应写作风格并改善泛化能力。
• 使用 Moses Tokenizer 进行一致的分词处理，并保留标点符号和大小写，以保留风格线索。
• 在 70/30 的训练-测试划分下训练模型，并通过广泛的消融实验评估各组件对性能的影响。
• 在非训练文章类型（如观点类、八卦类）上评估模型行为，以衡量基于风格的泛化能力。

实验结果

研究问题

• RQ1 在标注数据有限的低资源语言（如菲律宾语）中，迁移学习技术能否实现高准确率的虚假新闻检测？
• RQ2 在基于 Transformer 的虚假新闻分类器中，引入辅助语言建模损失如何提升性能？
• RQ3 虚假新闻分类器在多大程度上能基于写作风格而非内容，泛化到不同类型的文章（如观点类或八卦类文章）？
• RQ4 与标准微调相比，所提出的多任务学习方法是否能带来更鲁棒、更具泛化能力的虚假新闻检测模型？
• RQ5 为菲律宾语构建的专家标注、精心整理的基准数据集，是否能显著提升低资源环境下虚假新闻检测研究的可复现性与进展？

主要发现

• 所提出的 Fake News Filipino 数据集在虚假新闻检测上实现了96%的准确率，较标准迁移学习基线模型高出4-6%。
• 在未使用辅助损失的情况下，模型准确率达到91%，较现有少样本基线模型减少14%的错误率。
• 整合辅助语言建模损失使性能提升了4-6%，证明了在虚假新闻检测中风格适应的价值。
• 表现最佳的模型在非标注文章类型上表现出良好泛化能力，能基于风格线索将观点类文章分类为真实，将八卦类文章分类为虚假。
• 模型在多种文章类型（包括政治新闻、娱乐新闻和观点类文章）上表现稳健，表明其具备强大的基于风格的泛化能力。
• 本研究证实，结合多任务适应的迁移学习是低资源语言虚假新闻检测中可行且有效的策略。