[论文解读] Eating Garlic Prevents COVID-19 Infection: Detecting Misinformation on the Arabic Content of Twitter

Sarah Alqurashi, Btool Hamoui+3 more|arXiv (Cornell University)|Jan 9, 2021

Misinformation and Its Impacts被引用 24

一句话总结

本研究提出了一种机器学习框架，用于检测推特上关于新冠疫情的阿拉伯语虚假信息，使用人工标注的推文（n=8,786）并训练了FastText和word2vec词嵌入。XGBoost分类器在AUC、精确率、召回率和F1分数上均表现最佳，且FastText增强特征显著提升了传统和深度学习模型在词形丰富、非正式阿拉伯语文本上的性能。

ABSTRACT

The rapid growth of social media content during the current pandemic provides useful tools for disseminating information which has also become a root for misinformation. Therefore, there is an urgent need for fact-checking and effective techniques for detecting misinformation in social media. In this work, we study the misinformation in the Arabic content of Twitter. We construct a large Arabic dataset related to COVID-19 misinformation and gold-annotate the tweets into two categories: misinformation or not. Then, we apply eight different traditional and deep machine learning models, with different features including word embeddings and word frequency. The word embedding models (\ extsc{FastText} and word2vec) exploit more than two million Arabic tweets related to COVID-19. Experiments show that optimizing the area under the curve (AUC) improves the models' performance and the Extreme Gradient Boosting (XGBoost) presents the highest accuracy in detecting COVID-19 misinformation online.

研究动机与目标

• 为应对新冠疫情早期阶段对阿拉伯语虚假信息自动化检测的迫切需求。
• 创建一个高质量、人工标注的8,786条与新冠疫情虚假信息相关的阿拉伯语推文数据集，用于模型训练与评估。
• 评估预训练词嵌入（FastText和word2vec）在提升非正式、词形丰富的阿拉伯语社交媒体文本中虚假信息检测性能方面的有效性。
• 比较传统机器学习分类器（如XGBoost、SVM、随机森林）与深度学习模型（如CNN、RNN、CRNN）在阿拉伯语虚假信息检测中的表现。
• 通过基于AUC的超参数调优优化模型性能，以改善在数据不平衡数据集上的检测效果。

提出的方法

• 收集了与新冠疫情相关的大型阿拉伯语推特数据集，重点关注2020年3月至4月的疫情早期阶段。
• 采用人工标注者对推文进行标注，判断其是否为虚假信息，最终形成一个平衡且高质量的8,786条推文数据集。
• 在超过200万条阿拉伯语新冠疫情推文上训练了两种预训练词嵌入模型——FastText和word2vec，以捕捉语义和词形特征。
• 使用原始特征和嵌入特征，评估了五种传统分类器（XGBoost、随机森林、SVM、SGD、朴素贝叶斯）和三种深度学习模型（CNN、RNN、CRNN）。
• 通过网格搜索优化传统分类器，通过AUC损失函数优化深度学习模型，以提升在数据不平衡情况下的性能。
• 使用标准指标（AUC、精确率、召回率和F1分数）比较模型性能，以识别最稳健的分类器。

实验结果

研究问题

• RQ1 预训练词嵌入能否提升机器学习模型在推特上检测阿拉伯语虚假信息的性能？
• RQ2 在数据不平衡的数据集中，哪种机器学习分类器在识别与新冠疫情相关的阿拉伯语虚假信息方面表现最佳？
• RQ3 FastText和word2vec嵌入在捕捉非正式阿拉伯语社交媒体文本中常见的词形和拼写变体方面表现如何？
• RQ4 基于AUC的超参数优化在多大程度上提升了对阿拉伯语推文内容中少数类虚假信息的检测能力？
• RQ5 模型性能在不同类型的虚假信息（如健康疗法与阴谋论）之间是否存在显著差异？

主要发现

• XGBoost分类器实现了0.92的最高AUC得分，在精确率、召回率和F1分数上均优于其他所有分类器。
• FastText嵌入显著提升了传统分类器和CNN的性能，尤其得益于其对阿拉伯语中词形变化和拼写错误的良好处理能力。
• word2vec嵌入在CRNN等深度学习模型中表现更优，表明不同嵌入模型在不同模型架构中具有不同的优势。
• 基于AUC的超参数优化提升了对少数类虚假信息的检测能力，增强了模型识别罕见但有害虚假声明的能力。
• 与未使用嵌入的模型相比，使用预训练词嵌入显著提升了所有分类器的性能，证实了其在低资源、非正式阿拉伯语自然语言处理任务中的价值。
• 本研究提供的8,786条人工标注的阿拉伯语推文数据集，为未来阿拉伯语虚假信息检测研究提供了宝贵的基准。