[论文解读] Emojis as Anchors to Detect Arabic Offensive Language and Hate Speech

Hamdy Mubarak, Sabit Hassan+1 more|arXiv (Cornell University)|Jan 18, 2022

Hate Speech and Cyberbullying Detection被引用 6

一句话总结

本文提出一种语言无关的方法，通过使用表情符号作为锚点来收集阿拉伯语中的攻击性语言和仇恨言论，成功获取了35%的攻击性内容和11%的仇恨言论推文，显著高于以往方法。该方法生成了目前最大规模的公开阿拉伯语数据集，具备细粒度标注，可在外部基准测试中实现最先进性能，并展现出超越表情符号依赖模式的泛化能力。

ABSTRACT

We introduce a generic, language-independent method to collect a large percentage of offensive and hate tweets regardless of their topics or genres. We harness the extralinguistic information embedded in the emojis to collect a large number of offensive tweets. We apply the proposed method on Arabic tweets and compare it with English tweets - analysing key cultural differences. We observed a constant usage of these emojis to represent offensiveness throughout different timespans on Twitter. We manually annotate and publicly release the largest Arabic dataset for offensive, fine-grained hate speech, vulgar and violence content. Furthermore, we benchmark the dataset for detecting offensiveness and hate speech using different transformer architectures and perform in-depth linguistic analysis. We evaluate our models on external datasets - a Twitter dataset collected using a completely different method, and a multi-platform dataset containing comments from Twitter, YouTube and Facebook, for assessing generalization capability. Competitive results on these datasets suggest that the data collected using our method captures universal characteristics of offensive language. Our findings also highlight the common words used in offensive communications, common targets for hate speech, specific patterns in violence tweets; and pinpoint common classification errors that can be attributed to limitations of NLP models. We observe that even state-of-the-art transformer models may fail to take into account culture, background and context or understand nuances present in real-world data such as sarcasm.

研究动机与目标

• 解决阿拉伯语攻击性语言与仇恨言论检测中大规模、平衡、人工标注数据集稀缺的问题。
• 开发一种语言和主题无关的方法，无需依赖语言关键词或模式，收集具有攻击性的推文。
• 创建目前最大规模的公开阿拉伯语数据集，具备针对攻击性、仇恨言论、粗俗语和暴力内容的细粒度标注。
• 评估基于该数据集训练的模型在多样化外部数据集（包括多语言和多平台来源）上的泛化能力。
• 揭示在检测讽刺、语境和方言变体等攻击性内容时的语言模式、文化细微差别以及模型的局限性。

提出的方法

• 利用表情符号作为非语言锚点，收集具有高攻击性内容概率的推文，绕过对语言特定关键词的依赖。
• 采用通用的非语言种子方法，通过从公开可用数据集中提取频繁出现的表情符号，启动数据收集。
• 应用多阶段标注流程，由190多名标注员对推文进行攻击性、仇恨言论、粗俗语和暴力内容的标注，并通过测试题确保质量控制。
• 在收集的数据集上微调多种变换器架构（如 QARiB），用于攻击性语言和仇恨言论分类。
• 通过从训练集和测试集中移除表情符号，并在外部数据集（如 OffensEval 2020 和 MPOLD）上测试，评估模型的泛化能力。
• 对数据集进行深入的语言学和时间分析，识别攻击性语言的模式、仇恨言论的目标以及粗俗语的形态变化。

实验结果

研究问题

• RQ1 表情符号能否作为可靠、语言无关的锚点，在阿拉伯语中收集到高比例的攻击性与仇恨言论推文？
• RQ2 阿拉伯语推特中，攻击性内容的分布如何随时间、方言和社交目标而变化？
• RQ3 在无表情符号的条件下，基于表情符号锚定数据训练的模型在外部数据集上的泛化能力达到何种程度？
• RQ4 阿拉伯语社交媒体中，攻击性、暴力和粗俗内容的语言学模式是什么，特别是针对非标准拼写和方言形式？
• RQ5 当前最先进的NLP模型在检测攻击性语言中的讽刺、语境和文化细微差别时，存在哪些持续性的失败模式？

主要发现

• 表情符号锚定方法实现了35%的攻击性推文和11%的仇恨言论推文，接近是以往基于关键词方法的两倍。
• 所提出的数据集是目前最大规模的公开阿拉伯语数据集，针对多层级攻击性语言进行了标注，包括细粒度的仇恨言论、粗俗语和暴力内容。
• 在 SemEval 2020 阿拉伯语攻击性语言检测基准测试中，基于该数据集微调的模型取得了85.03的F1分数，表现出色。
• 即使在训练集和测试集中移除了表情符号，模型仍保持高性能（测试集F1 = 83.05），表明其超越表情符号依赖的泛化能力。
• 在包含来自Twitter、YouTube和Facebook评论的MPOLD数据集上，该模型优于现有方法，证实了其跨平台泛化能力。
• 分析揭示了仇恨言论的常见目标、粗俗语中反复出现的形态模式以及暴力推文中独特的语言结构，同时也暴露了模型在检测讽刺和文化语境方面的失败。