[论文解读] HS-BAN: A Benchmark Dataset of Social Media Comments for Hate Speech Detection in Bangla

Nauros Romim, Mosahed Ahmed+4 more|arXiv (Cornell University)|Dec 3, 2021

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本论文提出了HS-BAN，这是目前公开可用的最大的孟加拉语仇恨言论检测基准数据集，包含来自不同领域的超过50,000条社交媒体评论。通过严格的标注协议和基于非正式文本训练的FastText词嵌入，Bi-LSTM模型取得了86.78%的F1分数，表明非正式词嵌入优于正式词嵌入，且传统俚语相比非传统俚语能提升检测准确率。

ABSTRACT

In this paper, we present HS-BAN, a binary class hate speech (HS) dataset in Bangla language consisting of more than 50,000 labeled comments, including 40.17% hate and rest are non hate speech. While preparing the dataset a strict and detailed annotation guideline was followed to reduce human annotation bias. The HS dataset was also preprocessed linguistically to extract different types of slang currently people write using symbols, acronyms, or alternative spellings. These slang words were further categorized into traditional and non-traditional slang lists and included in the results of this paper. We explored traditional linguistic features and neural network-based methods to develop a benchmark system for hate speech detection for the Bangla language. Our experimental results show that existing word embedding models trained with informal texts perform better than those trained with formal text. Our benchmark shows that a Bi-LSTM model on top of the FastText informal word embedding achieved 86.78% F1-score. We will make the dataset available for public use.

研究动机与目标

• 为自然语言处理研究解决缺乏大规模、多样化且语言代表性强的孟加拉语仇恨言论数据集的问题。
• 通过详细的多标注员指南、多数投票机制和标注者间一致性评分，减少标注偏差。
• 通过利用在嘈杂、富含俚语的社交媒体文本上训练的词嵌入，提升非正式孟加拉语中的仇恨言论检测效果。
• 评估传统俚语与非传统俚语对仇恨言论分类模型性能的影响。
• 通过公开数据集和代码，为未来在低资源语言仇恨言论检测研究中建立基准。

提出的方法

• 数据集从Facebook和YouTube的7个类别（体育、娱乐、犯罪、政治、宗教、名人、其他）中收集，涵盖2017–2020年间的争议性话题，使用Facepager工具提取评论。
• 基于Facebook和YouTube社区准则制定了详细的标注指南，由50名标注员对每条评论进行标注；最终标签通过多数投票确定，以减少偏差。
• 标注者间一致性度量为0.658（kappa），表明中等程度的一致性；数据经过预处理，包括去除重复项（Jaccard > 0.8）和非孟加拉语内容。
• 由语言学专家手动将俚语划分为传统类型（TS）和非传统类型（NTS），以分析其对模型性能的影响。
• 训练了多种模型，包括Bi-LSTM、CNN、SVM和BERT变体，分别使用正式和非正式词嵌入（FastText、Word2Vec）进行性能对比。
• 表现最佳的模型为使用非正式文本训练的FastText skip-gram（SG）嵌入的Bi-LSTM模型，F1分数达到86.85%，优于正式嵌入和BERT模型。

实验结果

研究问题

• RQ1 在孟加拉语中，使用非正式文本嵌入与正式文本嵌入训练的仇恨言论检测模型性能有何差异？
• RQ2 传统俚语与非传统俚语在多大程度上影响仇恨言论分类模型的准确率？
• RQ3 跨领域的数据集多样性在多大程度上影响模型的泛化能力和性能？
• RQ4 为何基于BERT的模型在非正式孟加拉语社交媒体文本上的表现不如使用非正式嵌入的序列模型？
• RQ5 通过数据采样减少类别不平衡，是否能提升低资源仇恨言论类别中的检测性能？

主要发现

• HS-BAN数据集包含50,314条孟加拉语评论，其中40.17%被分类为仇恨言论，59.83%为非仇恨言论，是目前公开可用的最大孟加拉语仇恨言论基准数据集。
• 在基于非正式文本训练的FastText词嵌入上微调的Bi-LSTM模型取得了最高的F1分数86.85%，优于使用正式嵌入和BERT变体的模型。
• 在非正式文本上训练的词嵌入（FastText SG）显著优于在正式文本（如维基百科）上训练的词嵌入，支持在低资源NLP任务中采用非正式预训练的必要性。
• 模型在包含传统俚语（TS）的评论中表现优于包含非传统俚语（NTS）的评论，表明NTS词汇更具歧义性，降低了检测准确率。
• 最佳模型（Bi-LSTM+FT(SG)）在完整数据集上的F1分数为86.78%，各类别性能范围从78.84%（名人）到92.27%（犯罪）不等。
• 通过均衡仇恨与非仇恨样本的训练数据，F1分数在政治和名人类别中提升最明显，表明数据稀缺和类别不平衡是影响性能的关键因素。