[论文解读] A Review of Challenges in Machine Learning based Automated Hate Speech Detection

Abhishek Velankar, Hrushikesh Patil+1 more|arXiv (Cornell University)|Sep 12, 2022

Hate Speech and Cyberbullying Detection被引用 12

一句话总结

本文提出了一套全面的分层框架，用于理解基于机器学习的仇恨言论检测中的挑战，将其分类为数据层面、模型层面和人类层面的挑战。它识别出关键问题，如上下文依赖性、数据偏差、反语表达和标注分歧，为研究人员提供了结构化的基础，以构建更稳健且具备上下文感知能力的检测系统。

ABSTRACT

The spread of hate speech on social media space is currently a serious issue. The undemanding access to the enormous amount of information being generated on these platforms has led people to post and react with toxic content that originates violence. Though efforts have been made toward detecting and restraining such content online, it is still challenging to identify it accurately. Deep learning based solutions have been at the forefront of identifying hateful content. However, the factors such as the context-dependent nature of hate speech, the intention of the user, undesired biases, etc. make this process overcritical. In this work, we deeply explore a wide range of challenges in automatic hate speech detection by presenting a hierarchical organization of these problems. We focus on challenges faced by machine learning or deep learning based solutions to hate speech identification. At the top level, we distinguish between data level, model level, and human level challenges. We further provide an exhaustive analysis of each level of the hierarchy with examples. This survey will help researchers to design their solutions more efficiently in the domain of hate speech detection.

研究动机与目标

• 系统性地对基于机器学习的自动化仇恨言论检测中的多方面挑战进行分类与分析。
• 识别并解释数据层面的问题，如数据集不平衡、语言切换（code-switching）以及引述的仇恨言论，这些问题会阻碍模型的泛化能力。
• 研究模型层面的挑战，包括伪装的仇恨言论、带有粗俗用语但非仇恨的言论，以及重叠标签，这些都会使学习算法产生混淆。
• 调查人类层面的挑战，如标注分歧以及在反语或依赖上下文的案例中理解用户意图的困难，尤其在这些情况下。
• 为研究人员提供对这些挑战的结构化、分层的理解，以指导开发更准确且公平的仇恨言论检测系统。

提出的方法

• 作者提出了一种三层次的挑战分类体系：数据层面、模型层面和人类层面，子类别基于对现有文献和案例研究的实证分析得出。
• 通过社交媒体中的真实案例（如反语表达、语言切换和依赖上下文的仇恨言论）说明每个挑战类别，以展示其实际影响。
• 该框架整合了先前关于偏差、标注可靠性以及上下文解释的调查研究的见解，以构建挑战的分类体系。
• 研究使用数据集中的标注示例来说明子类别，如“伪装的仇恨言论”（例如，“fcuked”被用作赞美）和“重叠标签”，即一条评论可能属于多个类别。
• 通过案例研究验证了分层模型，展示了误分类如何由上下文、反语或模糊标注引起。
• 本文借鉴现有文献，将偏差（如种族、性别、心理特征）与数据收集和标注过程联系起来，揭示其对模型性能的影响。

实验结果

研究问题

• RQ1 数据层面的挑战（如数据集不平衡、语言切换以及引述的仇恨言论）如何影响基于机器学习的仇恨言论检测模型的性能？
• RQ2 模型层面的挑战（如伪装的仇恨言论、带有粗俗用语但非仇恨的言论以及重叠标签）如何导致误分类并降低模型的鲁棒性？
• RQ3 人类层面的挑战（如标注分歧以及对用户意图的解读，例如反语或历史语境）如何影响数据集质量和模型泛化能力？
• RQ4 语境模糊性以及仇恨言论缺乏普遍定义在多大程度上导致了标注和模型训练中的不一致性？
• RQ5 挑战的分层框架在多大程度上能改善更准确、更公平且具备上下文感知能力的仇恨言论检测系统的设计？

主要发现

• 由于缺乏对仇恨言论的普遍接受定义，导致了显著的标注分歧，进而造成组间一致性系数（kappa分数）较低，训练数据不可靠。
• 数据层面的挑战，如语言切换（例如社交媒体中的印地语-英语混用）以及引述的仇恨言论（例如，“穆斯林应该被送去他们的天堂（Jannat）”），使模型泛化更加困难，并增加了误报率。
• 模型层面的挑战，如伪装的仇恨言论（例如，“fcuked”被用作赞美）以及带有粗俗用语但非仇恨的言论（例如，“No f**king way”），造成高度模糊性，即使在最先进的模型中也会导致误分类。
• 重叠标签——即一条评论表现出多个类别的特征——迫使标注者做出任意判断，从而削弱模型的学习能力和泛化能力。
• 人类层面的挑战，尤其是理解用户意图的困难（例如反语或历史典故，如“希特勒对犹太人有最好的解决方案”），显著降低了人工标注的可靠性。
• 分层框架有效揭示了数据、模型和人类挑战之间的相互作用，表明上下文依赖性和偏差是构建准确仇恨言论检测系统持续困难的核心原因。