[论文解读] BanFakeNews: A Dataset for Detecting Fake News in Bangla

Zobaer Hossain, Ashraful Rahman+2 more|arXiv (Cornell University)|Apr 19, 2020

Misinformation and Its Impacts参考文献 47被引用 70

一句话总结

引入 BanFakeNews，一个约50K 的 Bangla 虚假新闻数据集，使用词汇、句法、语义特征与 transformer 模型进行基准评估。提供人工基线并与现有最先进的 NLP 技术进行对比分析。

ABSTRACT

Observing the damages that can be done by the rapid propagation of fake news in various sectors like politics and finance, automatic identification of fake news using linguistic analysis has drawn the attention of the research community. However, such methods are largely being developed for English where low resource languages remain out of the focus. But the risks spawned by fake and manipulative news are not confined by languages. In this work, we propose an annotated dataset of ~50K news that can be used for building automated fake news detection systems for a low resource language like Bangla. Additionally, we provide an analysis of the dataset and develop a benchmark system with state of the art NLP techniques to identify Bangla fake news. To create this system, we explore traditional linguistic features and neural network based methods. We expect this dataset will be a valuable resource for building technologies to prevent the spreading of fake news and contribute in research with low resource languages.

研究动机与目标

• 通过公开发布标注数据集（约50K 条文章）来解决 Bangla 虚假新闻资源匮乏的问题。
• 使用广泛的语言特征与神经结构对 Bangla 虚假新闻检测进行基准评测。
• 评估该数据集的人工表现并分析影响准确性的因素。
• 提供关于特征有效性（词汇、句法、语义、元数据）与预训练语言模型在 Bangla 任务中的见解。
• 鼓励未来扩展至 50K 标注样本并加入额外特征（来源元数据）等。

提出的方法

• 组装一个 Bangla 虚假新闻数据集，包含真实、虚假、诱导性、讽刺和误导性内容，附标题、文章、域名及元数据。
• 提取传统语言特征：词/字符 n-gram 及 TF-IDF；词性标签频次；词向量（FastText Bangla 与 News 向量嵌入）; 标点与元数据（站点 Alexa 等级、文章长度）。
• 在语言特征上训练传统机器学习模型（SVM、RF、LR）；采用 70:30 的训练测试划分，留出 10% 作为验证集。
• 尝试神经网络（CNN、带注意力的 Bi-LSTM）与预训练多语言 BERT 进行文本分类；使用 Adam 调参，学习率 2e-5，批大小 32；以 Micro-F1 与虚假类的类内 F1 进行评估。
• 通过 HuggingFace Transformers 的多语言 BERT 模型，对 Bangla 数据集进行基线比较。

实验结果

研究问题

• RQ1 Bangla 语言中哪些语言特征对虚假新闻检测最具信息量？
• RQ2 传统的词汇/句法/语义特征是否在 Bangla 虚假新闻检测中超越神经模型？
• RQ3 预训练的多语言变换器（BERT）在 Bangla 虚假新闻检测中的表现是否优于线性分类器？
• RQ4 该数据集的人类基线在 Bangla 虚假新闻检测中的表现如何？
• RQ5 元数据（来源、标题-文本关系、站点受欢迎程度）对检测性能有何影响？

主要发现

• 在使用所有语言特征的情况下，虚假类别的峰值 F1 达到 0.91，基于 SVM 的模型。
• 词汇与字符 n-gram 特征通常在 Bangla 虚假新闻检测中优于其他特征集。
• 神经模型（CNN、Bi-LSTM、BERT）相对于基线有提升，但未超越使用所有语言特征的最佳线性分类器（BERT 约实现 ~0.68 的虚假 F1，而 All Features with SVM 达到 0.91）。
• 人工基线的虚假类 F1 在约 0.58–0.70 之间，取决于评注者，评注者之间的一致性（Fleiss’ Kappa）约为 0.389。
• 字符级特征被特别认为是有效的，建议在未来工作中将其整合到神经网络架构中。
• 数据集包括注释的来源元数据、标题-文章关系和站点受欢迎程度等可能的预测特征。）