[论文解读] Leveraging Transformers for Hate Speech Detection in Conversational Code-Mixed Tweets

Zaki Mustafa Farooqi, Sreyan Ghosh+1 more|arXiv (Cornell University)|Dec 18, 2021

Hate Speech and Cyberbullying Detection被引用 13

一句话总结

该论文提出了一种基于Transformer的集成系统，用于检测印地语-英语混合的Twitter对话中的仇恨言论，利用Indic-BERT、XLM-RoBERTa和Multilingual BERT进行硬投票。表现最佳的模型在HASOC 2021的Subtask 2排行榜中获得第一名，宏F1得分为0.7253，有效捕捉了低资源、代码混杂的社交媒体文本中的上下文细微差别。

ABSTRACT

In the current era of the internet, where social media platforms are easily accessible for everyone, people often have to deal with threats, identity attacks, hate, and bullying due to their association with a cast, creed, gender, religion, or even acceptance or rejection of a notion. Existing works in hate speech detection primarily focus on individual comment classification as a sequence labeling task and often fail to consider the context of the conversation. The context of a conversation often plays a substantial role when determining the author's intent and sentiment behind the tweet. This paper describes the system proposed by team MIDAS-IIITD for HASOC 2021 subtask 2, one of the first shared tasks focusing on detecting hate speech from Hindi-English code-mixed conversations on Twitter. We approach this problem using neural networks, leveraging the transformer's cross-lingual embeddings and further finetuning them for low-resource hate-speech classification in transliterated Hindi text. Our best performing system, a hard voting ensemble of Indic-BERT, XLM-RoBERTa, and Multilingual BERT, achieved a macro F1 score of 0.7253, placing us first on the overall leaderboard standings.

研究动机与目标

• 解决在对话性、代码混杂的印地语-英语Twitter内容中检测仇恨言论的挑战，其中毒性可能隐含且依赖上下文。
• 通过跨语言Transformer嵌入，改进对音译印地语文本的低资源仇恨言论分类。
• 评估集成学习在减轻仇恨言论检测中特定类别误分类偏差方面的有效性。
• 开发一种能够识别回复和评论中隐性仇恨的系统，这些内容虽不明显具有攻击性，但会加剧有毒对话链。

提出的方法

• 在印地语-英语混合仇恨言论数据集上微调预训练的多语言Transformer模型——Indic-BERT、XLM-RoBERTa和Multilingual BERT，用于处理印地语-英语推文。
• 通过聚合所有三个Transformer模型的预测结果，构建硬投票集成模型，以提高鲁棒性和泛化能力。
• 将完整对话上下文（父级推文、回复和评论）作为输入，以捕捉隐性仇恨和意图。
• 采用软投票和硬投票策略结合模型输出，其中硬投票表现更优。
• 在HASOC 2021数据集上进行广泛的超参数调优和验证，以优化模型泛化能力。
• 通过混淆矩阵和误分类率进行错误分析，以识别特定类别下的弱点和模型行为。

实验结果

研究问题

• RQ1 预训练的多语言Transformer能否有效检测低资源、代码混杂的印地语-英语Twitter对话中的仇恨言论？
• RQ2 在这一低资源场景下，与单个Transformer模型相比，集成学习在多大程度上提升了仇恨言论检测性能？
• RQ3 在多大程度上，引入对话上下文能增强对单个评论中未明确体现的隐性仇恨的检测能力？
• RQ4 为何某些模型对'NOT'（非攻击性）类别的误分类率更高，且集成是否能缓解这种偏差？

主要发现

• Indic-BERT、XLM-RoBERTa和Multilingual BERT的硬投票集成模型取得了最高的宏F1得分0.7253，在HASOC 2021 Subtask 2排行榜中位列第一。
• 与单个模型相比，集成模型显著降低了HOF（仇恨/攻击性）和NOT（非攻击性）两类的误分类率，其中HOF类别的误分类率降至23.74%。
• Indic-BERT在NOT类别上的误分类率显著更高（40.27%），而HOF类别为23.30%，表明其预测中存在类别不平衡。
• Multilingual BERT和XLM-RoBERTa在两类中均表现出均衡的误分类率（约29-31%），表明其性能更一致。
• 硬投票集成模型优于软投票集成模型（宏F1为0.7223），表明在该场景下硬投票更有效地解决了预测冲突。
• 尽管性能有所提升，但集成模型对NOT类别的误分类样本仍比HOF类别多7-8%，凸显了准确检测非毒性内容的持续挑战。