[论文解读] HERDPhobia: A Dataset for Hate Speech against Fulani in Nigeria

Saminu Mohammad Aliyu, Gregory Maksha Wajiga+4 more|arXiv (Cornell University)|Nov 28, 2022

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本论文提出了 HERDPhobia，这是首个针对尼日利亚富拉尼游牧民的多语言（英语、豪萨语、尼日利亚皮钦语）仇恨言论数据集，经人工标注共包含1,131条仇恨言论、5,007条非仇恨言论以及36条模棱两可的推文。通过微调预训练语言模型，XLM-T 在该数据集上取得了99.83%的加权F1分数，展现出在低资源非洲自然语言处理环境下的强大仇恨言论检测能力。

ABSTRACT

Social media platforms allow users to freely share their opinions about issues or anything they feel like. However, they also make it easier to spread hate and abusive content. The Fulani ethnic group has been the victim of this unfortunate phenomenon. This paper introduces the HERDPhobia - the first annotated hate speech dataset on Fulani herders in Nigeria - in three languages: English, Nigerian-Pidgin, and Hausa. We present a benchmark experiment using pre-trained languages models to classify the tweets as either hateful or non-hateful. Our experiment shows that the XML-T model provides better performance with 99.83% weighted F1. We released the dataset at https://github.com/hausanlp/HERDPhobia for further research.

研究动机与目标

• 为解决在多语言语境下针对尼日利亚富拉尼族群的仇恨言论标注数据集匮乏的问题。
• 创建一个用于检测社交媒体（尤其是推特）上针对富拉尼游牧民仇恨言论的基准数据集。
• 评估预训练语言模型在该新型数据集上的表现，以支持未来非洲语言的自然语言处理研究。
• 通过发布包含匿名化个人标识信息的数据集，推动负责任的仇恨言论检测，促进伦理人工智能的发展。

提出的方法

• 使用与富拉尼、牛和游牧民相关的关键词，收集了6,174条推文，涵盖三种语言：英语（占97.2%）、豪萨语（占1.8%）和尼日利亚皮钦语（占1%）。
• 采用三名标注员的多数投票机制，依据Warner和Hirschberg（2012）的指南，将推文分为三类：仇恨（HT）、非仇恨（NHT）和不确定（IND）。
• 将不确定的推文（n=36）从训练和评估中剔除，最终用于模型训练的为892条HT和3,523条NHT推文。
• 在清洗后的数据集上，使用相同的超参数（20个训练轮次、批量大小32、序列长度128）对三种多语言预训练语言模型——XLM-T、mBERT 和 AfriBERTa——进行微调。
• 通过在保留的测试集上计算加权F1分数来评估模型性能，结果显示XLM-T表现最佳。
• 对所有个人身份信息进行匿名化处理，将用户提及替换为'@user'，以确保伦理数据处理。

实验结果

研究问题

• RQ1 预训练的多语言语言模型在检测针对尼日利亚富拉尼游牧民的仇恨言论方面表现如何？
• RQ2 在低资源非洲自然语言处理背景下，模型性能在不同语言之间有何差异？
• RQ3 标注者之间的一致性程度在多大程度上反映了在多语言和文化敏感语境下分类仇恨言论的复杂性？
• RQ4 像HERDPhobia这样的多语言数据集在多大程度上能支持为非洲代表性不足的族群开发稳健的仇恨言论检测系统？
• RQ5 数据集中英语的主导地位在多大程度上影响了XLM-T等多语言模型的性能？

主要发现

• HERDPhobia数据集包含6,174条人工标注的推文，其中1,131条被标记为仇恨言论，5,007条为非仇恨言论，36条为不确定，Fleiss Kappa标注者一致性达到57%。
• XLM-T在测试集上取得了最高的加权F1分数99.83%，优于mBERT（80.96%）和AfriBERTa（78.07%）。
• XLM-T表现出色的原因在于其在英语上进行了预训练，而该数据集中英语推文占比高达97.2%，与数据分布高度一致。
• 仇恨言论在尼日利亚南部各州最为普遍，其中拉各斯州记录的推文数量最多（100条），与此前关于尼日利亚族群仇恨言论的报告一致。
• 该数据集已发布于GitHub，所有个人身份信息均已替换，以确保伦理使用和隐私合规。
• 本研究为针对非洲自然语言处理中边缘化族群的仇恨言论检测建立了基础性基准，未来可扩展至其他边缘化群体及仇恨类型。