[论文解读] Leveraging Multilingual Transformers for Hate Speech Detection

Sayar Ghosh Roy, Ujwal Narayan+3 more|arXiv (Cornell University)|Jan 8, 2021

Hate Speech and Cyberbullying Detection参考文献 16被引用 26

一句话总结

论文使用多语言Transformer模型（XLM-RoBERTa）在英语、德语和印地语中检测并分类仇恨言论，获得强大的宏F1分数并分析Perspective API特征与特征选择。

ABSTRACT

Detecting and classifying instances of hate in social media text has been a problem of interest in Natural Language Processing in the recent years. Our work leverages state of the art Transformer language models to identify hate speech in a multilingual setting. Capturing the intent of a post or a comment on social media involves careful evaluation of the language style, semantic content and additional pointers such as hashtags and emojis. In this paper, we look at the problem of identifying whether a Twitter post is hateful and offensive or not. We further discriminate the detected toxic content into one of the following three classes: (a) Hate Speech (HATE), (b) Offensive (OFFN) and (c) Profane (PRFN). With a pre-trained multilingual Transformer-based text encoder at the base, we are able to successfully identify and classify hate speech from multiple languages. On the provided testing corpora, we achieve Macro F1 scores of 90.29, 81.87 and 75.40 for English, German and Hindi respectively while performing hate speech detection and of 60.70, 53.28 and 49.74 during fine-grained classification. In our experiments, we show the efficacy of Perspective API features for hate speech classification and the effects of exploiting a multilingual training scheme. A feature selection study is provided to illustrate impacts of specific features upon the architecture's classification head.

研究动机与目标

• 在多语言社交媒体文本中推动健全的仇恨言论检测。
• 研究粗粒度（HOF vs NOT）和细粒度（HATE、OFFN、PRFN）分类。
• 评估基于 XLM-RoBERTa 的架构在多语言与单语言训练下的表现。
• 评估 Perspective API 特征以及表情符号/话题标签表示的价值。

提出的方法

• 使用清洗文本、表情符号和分段话题标签的嵌入拼接后，微调 XLM-RoBERTa，接一个两层的 MLP 分类器。
• 结合 emoji2vec 和话题标签嵌入，对其元素求平均，以在共同潜在空间中定标。
• 将 Perspective API 特征作为英语和德语的独立输入输送给 MLP 进行实验。
• 比较冻结（基线）与微调的 Transformer 权重在单语和多语环境中的表现。
• 在清洗文本、表情符号和话题标签之间进行特征选择研究，以评估对性能的影响。
• 以宏观 F1 分数作为评估指标，并对 MLP 超参数进行网格搜索。

实验结果

研究问题

• RQ1 多语言 transformer 能否在英语、德语和印地语推文中有效检测仇恨言论？
• RQ2 添加表情符号和话题标签嵌入对分类性能的影响是什么？
• RQ3 Perspective API 特征与基于 Transformer 的表示在仇恨言论任务中的比较？
• RQ4 当有英语数据可用时，多语言训练是否能提升德语和印地语的性能？
• RQ5 微调 Transformer 权重与使用冻结嵌入相比的效果如何？

主要发现

模型	英语 Task1	英语 Task2	德语 Task1	德语 Task2	印地语 Task1	印地语 Task2
XLMR-adaptive	90.29	59.03	81.04	52.99	75.40	45.87
XLMR-tuned	90.05	60.70	81.87	53.28	74.29	49.74

• 以 XLM-RoBERTa 为基础的模型在单语和多语设置下，微调性能优于冻结基线。
• 最佳配置在英语 Task1 90.05，Task2 60.70；德语 Task1 81.87，Task2 53.28；印地语 Task1 74.29，Task2 49.74。
• 多语言训练在某些设置下提升德语 Task2 和印地语 Task2 的表现，而在特征受限情形下英语结果可能下降。
• Perspective API 特征在 HOF vs NOT 上提供可观结果，但在细粒度分类方面落后于基于 Transformer 的模型。
• 包含表情符号和话题标签嵌入可提升性能，其中话题标签在若干设置中尤为有利。
• 特征选择研究表明话题标签与表情符号为分类器头部提供有价值的信息。