[论文解读] BD-SHS: A Benchmark Dataset for Learning to Detect Online Bangla Hate Speech in Different Social Contexts

Nauros Romim, Mosahed Ahmed+4 more|arXiv (Cornell University)|Jun 1, 2022

Hate Speech and Cyberbullying Detection被引用 14

一句话总结

本文提出了 BD-SHS，一个大规模、人工标注的基准数据集，包含从多样化在线社交环境收集的 50,200 条孟加拉语仇恨言论评论。通过一种新颖的分层标注流程以及基于 147 万条社交媒体评论微调的词嵌入，最佳模型在仇恨言论检测任务中取得了 91.0% 的 F1 分数，创下孟加拉语仇恨言论检测的新 SOTA 记录。

ABSTRACT

Social media platforms and online streaming services have spawned a new breed of Hate Speech (HS). Due to the massive amount of user-generated content on these sites, modern machine learning techniques are found to be feasible and cost-effective to tackle this problem. However, linguistically diverse datasets covering different social contexts in which offensive language is typically used are required to train generalizable models. In this paper, we identify the shortcomings of existing Bangla HS datasets and introduce a large manually labeled dataset BD-SHS that includes HS in different social contexts. The labeling criteria were prepared following a hierarchical annotation process, which is the first of its kind in Bangla HS to the best of our knowledge. The dataset includes more than 50,200 offensive comments crawled from online social networking sites and is at least 60% larger than any existing Bangla HS datasets. We present the benchmark result of our dataset by training different NLP models resulting in the best one achieving an F1-score of 91.0%. In our experiments, we found that a word embedding trained exclusively using 1.47 million comments from social media and streaming sites consistently resulted in better modeling of HS detection in comparison to other pre-trained embeddings. Our dataset and all accompanying codes is publicly available at github.com/naurosromim/hate-speech-dataset-for-Bengali-social-media

研究动机与目标

• 为解决现有孟加拉语仇恨言论数据集在语言多样性与语境代表性方面的不足。
• 开发一种分层标注框架，以提升孟加拉语仇恨言论检测中标签的一致性与可靠性。
• 创建一个大规模、公开可用的基准数据集，支持训练和评估可泛化的孟加拉语仇恨言论检测 NLP 模型。
• 探究基于社交媒体文本训练的领域特定词嵌入在提升仇恨言论检测性能方面的有效性。

提出的方法

• 通过网络爬取从在线社交网络和流媒体平台获取超过 50,200 条具有攻击性的评论，构建了数据集 BD-SHS。
• 采用分层标注流程，包含多个标注阶段，以确保标签一致性并减少在仇恨言论分类中的主观性。
• 仅在 147 万条孟加拉语社交媒体和流媒体平台评论上训练词嵌入，以更好地捕捉特定语境的语言模式。
• 在 BD-SHS 数据集上对多种 NLP 模型进行微调并评估，使用精确率、召回率和 F1 分数等标准指标。
• 将自定义词嵌入的性能与其它预训练词嵌入进行对比，结果表明其在仇恨言论检测任务中表现更优。
• 所有数据集和代码均已公开发布，以支持可复现性，并推动孟加拉语低资源 NLP 领域的进一步研究。

实验结果

研究问题

• RQ1 在仇恨言论数据集中包含多样化的社交语境，如何影响模型的泛化能力和性能？
• RQ2 与平面标注方法相比，分层标注流程是否能提升孟加拉语仇恨言论数据集中标签的质量与一致性？
• RQ3 在孟加拉语仇恨言论检测任务中，基于社交媒体文本训练的领域特定词嵌入在多大程度上优于通用预训练词嵌入？
• RQ4 在大规模、语境多样的孟加拉语仇恨言论基准上，当前最先进 NLP 模型的性能上限是多少？
• RQ5 与现有孟加拉语仇恨言论数据集相比，BD-SHS 在规模和语言多样性方面，其覆盖范围和代表性如何？

主要发现

• BD-SHS 数据集包含超过 50,200 条人工标注的孟加拉语仇恨言论评论，其规模至少比以往任何已发表的孟加拉语仇恨言论数据集大 60%。
• 表现最佳的模型在 BD-SHS 基准上取得了 91.0% 的 F1 分数，创下孟加拉语仇恨言论检测的新 SOTA 记录。
• 仅在 147 万条社交媒体和流媒体平台评论上训练的词嵌入，在仇恨言论检测任务中显著优于其他预训练词嵌入。
• 分层标注流程在减少标签歧义和提升孟加拉语仇恨言论标注中的人工标注者一致性方面被证明非常有效。
• 数据集中包含的多样化社交语境增强了模型对不同类型攻击性语言的鲁棒性与泛化能力。
• 数据集和代码的公开发布支持了可复现研究，加速了孟加拉语低资源 NLP 领域的发展。