[论文解读] Detecting and Reasoning of Deleted Tweets before they are Posted

Hamdy Mubarak, Samir Abdaljalil+2 more|arXiv (Cornell University)|May 5, 2023

Misinformation and Its Impacts被引用 9

一句话总结

本文建立一个包含已删除与未删除帖子的大型阿拉伯语推文数据集，具有细粒度的虚假信息标签，并训练模型在发帖前预测删除及其原因。

ABSTRACT

Social media platforms empower us in several ways, from information dissemination to consumption. While these platforms are useful in promoting citizen journalism, public awareness etc., they have misuse potentials. Malicious users use them to disseminate hate-speech, offensive content, rumor etc. to gain social and political agendas or to harm individuals, entities and organizations. Often times, general users unconsciously share information without verifying it, or unintentionally post harmful messages. Some of such content often get deleted either by the platform due to the violation of terms and policies, or users themselves for different reasons, e.g., regrets. There is a wide range of studies in characterizing, understanding and predicting deleted content. However, studies which aims to identify the fine-grained reasons (e.g., posts are offensive, hate speech or no identifiable reason) behind deleted content, are limited. In this study we address this gap, by identifying deleted tweets, particularly within the Arabic context, and labeling them with a corresponding fine-grained disinformation category. We then develop models that can predict the potentiality of tweets getting deleted, as well as the potential reasons behind deletion. Such models can help in moderating social media posts before even posting.

研究动机与目标

• 开发一个人工标注的阿拉伯语已删除与未删除推文数据集，包含细粒度的虚假信息类别。
• 研究已删除推文是否揭示内容类型（仇恨言论、攻击性语言、传闻、垃圾邮件），以及它们是否可用于事先对帖子进行适度管理。
• 分析用户账户状态及其他元数据，以理解删除动态。
• 训练并比较经典模型和基于Transformer的模型，以在发帖前预测删除及其原因。

提出的方法

• 收集了4万条推文（20K已删除，20K未删除）并人工标注了22K条关于虚假信息类别。
• 定义细粒度标签：仇恨言论、攻击性、传闻、垃圾邮件，以及 not-disinformative，遵循阿拉伯语NLP标注标准。
• 构建三个分类任务：(i) 已删除 vs 未删除，(ii) 虚假信息 vs 非虚假信息，(iii) 细粒度虚假信息类别。
• 将经典模型（RF、SVM）与Transformer模型（AraBERT、XLM-R）进行比较，数据划分为70/10/20。
• 使用准确率、精确率、召回率和F1进行评估，并在所有任务中报告结果。

实验结果

研究问题

• RQ1 RQ1：推文被删除的潜在原因是什么（例如仇恨言论、攻击性语言）。
• RQ2 RQ2：已删除的推文是否是收集有害内容的良好来源，且不带关键词偏见。
• RQ3 RQ3：Twitter如何处理发布虚假信息的用户（例如暂停、删除）。
• RQ4 RQ4：我们是否可以在发帖前检测推文的潜在删除及其原因？

主要发现

• 已删除的推文所含虚假信息多于未删除的（标注样本中为20%对7%）。
• Twitter暂停了相当一部分发布虚假信息的用户，在整个数据集中有40%的此类用户被暂停。
• 虚假信息类别包括仇恨言论、攻击性语言、传闻和垃圾邮件，在已删除的推文中更为普遍。
• AraBERT和XLM-R模型在各自任务中超过基线，其中AraBERT在细粒度虚假信息方面表现最好；XLM-R在虚假信息与非虚假信息检测方面表现出色。
• 提出的后删除检测流程可以在发帖前警告用户潜在删除及原因。