[论文解读] An Information Retrieval Approach to Building Datasets for Hate Speech Detection

Md Mustafizur Rahman, Dinesh Balakrishnan+3 more|arXiv (Cornell University)|Jun 17, 2021

Hate Speech and Cyberbullying Detection被引用 7

一句话总结

本文提出一种受信息检索（IR）启发的方法，通过利用聚合（pooling）和主动学习技术，高效识别并标注超出关键词匹配限制的稀有、多样化仇恨言论形式，从而构建更全面、更具代表性的仇恨言论数据集。主要贡献在于创建了一个新基准数据集，能够捕捉更广泛的仇恨言论形式，揭示了现有模型在该更真实分布上的性能显著下降。

ABSTRACT

Building a benchmark dataset for hate speech detection presents various challenges. Firstly, because hate speech is relatively rare, random sampling of tweets to annotate is very inefficient in finding hate speech. To address this, prior datasets often include only tweets matching known "hate words". However, restricting data to a pre-defined vocabulary may exclude portions of the real-world phenomenon we seek to model. A second challenge is that definitions of hate speech tend to be highly varying and subjective. Annotators having diverse prior notions of hate speech may not only disagree with one another but also struggle to conform to specified labeling guidelines. Our key insight is that the rarity and subjectivity of hate speech are akin to that of relevance in information retrieval (IR). This connection suggests that well-established methodologies for creating IR test collections can be usefully applied to create better benchmark datasets for hate speech. To intelligently and efficiently select which tweets to annotate, we apply standard IR techniques of {\\em pooling} and {\\em active learning}. To improve both consistency and value of annotations, we apply {\\em task decomposition} and {\\em annotator rationale} techniques. We share a new benchmark dataset for hate speech detection on Twitter that provides broader coverage of hate than prior datasets. We also show a dramatic drop in accuracy of existing detection models when tested on these broader forms of hate. Annotator rationales we collect not only justify labeling decisions but also enable future work opportunities for dual-supervision and/or explanation generation in modeling. Further details of our approach can be found in the supplementary materials.

研究动机与目标

• 解决现有仇恨言论数据集依赖预定义'仇恨词汇'所带来的局限性，包括采样偏差和覆盖范围狭窄的问题。
• 通过利用信息检索技术，优先选择更可能为仇恨言论的推文，克服随机采样的低效性。
• 通过任务分解和理由收集，提升标注的一致性与可解释性。
• 创建一个反映现实世界仇恨言论真正多样性和复杂性的基准数据集，包含关键词过滤无法捕捉的形式。
• 证明当前最先进仇恨言论检测模型在该更广泛、更真实的基准数据集上性能显著下降，凸显改进训练数据的必要性。

提出的方法

• 应用信息检索中的聚合技术，从多个多样化仇恨言论检测模型中聚合排名靠前的推文，提升对稀有和复杂仇恨言论形式的覆盖。
• 使用单一模型进行主动学习，迭代选择最具信息量的推文进行标注，优化标注预算并提升模型泛化能力。
• 通过将标注任务分解为子任务（如识别仇恨言论、识别目标群体）来提升标注者的一致性。
• 收集标注者的理由以解释标注决策，为未来解释性建模和双监督学习研究提供支持。
• 在语料构建和最终标注采样阶段引入两次随机采样，以减少选择偏差。
• 利用现有的仇恨言论数据集训练初始模型以支持聚合，但承认其可能传播原始数据集中的偏差。

实验结果

研究问题

• RQ1 信息检索技术（如聚合与主动学习）能否有效应用于提升仇恨言论数据集构建的效率与覆盖范围？
• RQ2 非基于关键词的仇恨言论形式的引入，如何影响现有仇恨言论检测模型的性能？
• RQ3 标注者理由与任务分解在多大程度上提升了标注一致性与模型可解释性？
• RQ4 所提出的基准数据集中仇恨言论的分布与以往基准数据集相比，在多样性和真实性方面有何差异？
• RQ5 数据集偏差（如主题、人口统计）对训练出的仇恨言论检测模型的泛化能力与公平性有何影响？

主要发现

• 所提出的数据集捕捉到的仇恨言论形式显著多于以往数据集，包括仅靠关键词匹配无法检测到的表达形式。
• 现有仇恨言论检测模型在新数据集上的准确率出现显著下降，表明先前模型过度拟合于狭窄的、基于关键词的分布。
• 通过多个多样化模型的聚合，显著提升了捕捉稀有和复杂仇恨言论的可能性，降低了漏检真实阳性样本的风险。
• 标注过程中收集的标注者理由为标注决策提供了有价值的依据，并为解释性建模开辟了新路径。
• 尽管已采取措施减少偏差，该数据集仍可能继承聚合过程中所用初始模型的偏差，以及底层训练数据中的偏差，尤其在主题和人口统计代表性方面。
• 本研究证明，数据集设计与模型设计同等关键，因为有缺陷的数据会严重限制模型在现实部署中的性能与公平性。