[论文解读] LAHM : Large Annotated Dataset for Multi-Domain and Multilingual Hate Speech Identification

Ankit Yadav, Shubham Chandel+2 more|arXiv (Cornell University)|Apr 3, 2023

Hate Speech and Cyberbullying Detection被引用 7

一句话总结

本论文提出 LAHM，一个大规模多语言、多领域仇恨言论数据集，涵盖六种语言（英语、印地语、阿拉伯语、法语、德语、西班牙语）的约 30 万条推文，以及五类仇恨言论：辱骂、性别歧视、种族主义、宗教仇恨和极端主义。该数据集通过结合单语、多语和跨语言模型的三层注释流程构建，实现了多语言、跨语言和零样本仇恨言论检测任务的最先进性能，其中多语言少样本分类器在除阿拉伯语和法语外的大多数语言中优于单语 BERT 模型。

ABSTRACT

Current research on hate speech analysis is typically oriented towards monolingual and single classification tasks. In this paper, we present a new multilingual hate speech analysis dataset for English, Hindi, Arabic, French, German and Spanish languages for multiple domains across hate speech - Abuse, Racism, Sexism, Religious Hate and Extremism. To the best of our knowledge, this paper is the first to address the problem of identifying various types of hate speech in these five wide domains in these six languages. In this work, we describe how we created the dataset, created annotations at high level and low level for different domains and how we use it to test the current state-of-the-art multilingual and multitask learning approaches. We evaluate our dataset in various monolingual, cross-lingual and machine translation classification settings and compare it against open source English datasets that we aggregated and merged for this task. Then we discuss how this approach can be used to create large scale hate-speech datasets and how to leverage our annotations in order to improve hate speech detection and classification in general.

研究动机与目标

• 解决缺乏大规模、多语言、多领域仇恨言论数据集的问题，这些数据集需覆盖多种语言和仇恨言论类型。
• 开发一种可扩展的半监督注释流程，结合单语、多语和跨语言模型，实现高效的数据标注。
• 在单语、多语和跨语言设置下，使用最先进的迁移学习模型评估该数据集。
• 实现在低资源语言和代表性不足领域中的零样本和少样本学习，用于仇恨言论检测。
• 为评估仇恨言论检测中的跨语言迁移和领域泛化性提供基准。

提出的方法

• 采用三层注释流程：首先在单语数据上微调模型；其次在跨语言数据上训练多语言模型；最后将跨语言零样本模型应用于低资源语言。
• 通过人工参与的注释与基于模型的投票相结合的方式构建数据集，最终注释需至少两个模型预测结果。
• 使用通过少样本学习训练的多语言二分类器进行高层次仇恨言论检测，性能优于大多数语言中的单语 BERT 模型。
• 通过零样本迁移学习评估跨语言多领域分类，利用 HSmerge 数据集进行微调。
• 应用基于机器翻译的多领域分类，将非英语文本翻译为英语以进行模型推理，随后进行标签聚合。
• 采用模型集成以提高预测可靠性，通过多个模型（如 BERT、Perspective API、多语言分类器）的投票确定最终标签。

Figure 1: Overall Annotation Pipeline Architecture

实验结果

研究问题

• RQ1 半监督、多阶段注释流程能否有效扩展多语言和多领域仇恨言论数据集的构建？
• RQ2 多语言少样本分类器在多种语言的跨语言仇恨言论检测中，与单语 BERT 模型相比表现如何？
• RQ3 零样本跨语言迁移学习在多语言和仇恨言论领域之间的泛化能力如何？
• RQ4 在低资源语言（如印地语、阿拉伯语和德语）中，不同仇恨言论类型的标签分布如何？
• RQ5 基于机器翻译的多领域分类是否可作为低资源语言仇恨言论检测的可行替代方案？

主要发现

• LAHM 数据集包含约 30 万条推文，覆盖六种语言和五类仇恨言论，是目前同类中规模最大的数据集。
• 多语言少样本分类器在大多数语言中优于单语 BERT 模型，但在阿拉伯语和法语中后者表现更优。
• 对于印地语，Perspective API 将 31% 的样本判定为仇恨言论，而多语言分类器仅判定为 12%，表明检测中存在模型特异性偏差。
• 在阿拉伯语中，多语言分类器将 73% 的仇恨样本判定为性别歧视或极端主义，凸显语言特定的分布模式。
• 在法语中，32% 的样本被分类为辱骂，而宗教仇恨占比最低，仅为 8.3%。
• 基于机器翻译的多领域模型预测了 12,312 个样本为辱骂，12,681 个样本为极端主义，显示出不同语言间模型预测的显著差异。

Figure 2: bleu scores for model translations