[论文解读] Hate Speech and Offensive Language Detection in Bengali

Mithun Das, Somnath Banerjee+2 more|arXiv (Cornell University)|Oct 7, 2022

Hate Speech and Cyberbullying Detection被引用 6

一句话总结

本文引入了一个包含10,000条孟加拉语推文的新基准数据集——5,000条为原生孟加拉文字，5,000条为罗马化孟加拉文，均标注了仇恨言论和冒犯性语言。该研究评估了多种基于Transformer的模型，发现与MuRIL联合训练能显著提升性能，通过利用不同书写系统间的语义相似性，尤其在低资源和少样本设置下表现更优。

ABSTRACT

Social media often serves as a breeding ground for various hateful and offensive content. Identifying such content on social media is crucial due to its impact on the race, gender, or religion in an unprejudiced society. However, while there is extensive research in hate speech detection in English, there is a gap in hateful content detection in low-resource languages like Bengali. Besides, a current trend on social media is the use of Romanized Bengali for regular interactions. To overcome the existing research's limitations, in this study, we develop an annotated dataset of 10K Bengali posts consisting of 5K actual and 5K Romanized Bengali tweets. We implement several baseline models for the classification of such hateful posts. We further explore the interlingual transfer mechanism to boost classification performance. Finally, we perform an in-depth error analysis by looking into the misclassified posts by the models. While training actual and Romanized datasets separately, we observe that XLM-Roberta performs the best. Further, we witness that on joint training and few-shot training, MuRIL outperforms other models by interpreting the semantic expressions better. We make our code and dataset public for others.

研究动机与目标

• 解决低资源语言（如孟加拉语）中仇恨言论检测缺乏标注数据集的问题，特别是针对拉丁字母书写的罗马化变体。
• 构建一个金标准、平衡的10,000条推文数据集——5,000条为原生孟加拉文，5,000条为罗马化孟加拉文，标注为仇恨、冒犯或正常内容。
• 评估基于Transformer的模型在真实孟加拉文与罗马化孟加拉文中的仇恨言论分类性能，重点关注迁移学习与少样本学习。
• 探究跨语言迁移与联合训练对模型在不同拼写变体间泛化能力与鲁棒性的影响。
• 通过深入的错误分析，识别模型预测中持续存在的失败模式，包括观点偏差与混合语言结构。

提出的方法

• 从Twitter上精心筛选了10,000条推文，原生孟加拉文与罗马化孟加拉文各占一半，并由人工标注内容为仇恨、冒犯或正常。
• 实现了基线模型，包括XLM-RoBERTa、mBERT、IndicBERT和MuRIL，采用微调的Transformer架构进行序列分类。
• 通过在原生与罗马化孟加拉文数据上联合训练，探索跨语言迁移，以提升零样本与少样本泛化能力。
• 应用少样本微调策略，评估在罗马化孟加拉文标注数据有限时的模型性能。
• 通过人工检查误分类样本进行错误分析，将失败原因归类为观点偏差、混合语言结构及潜在标注错误。
• 使用标准NLP评估指标（如F1、准确率）比较不同训练策略与数据划分下的模型性能。

实验结果

研究问题

• RQ1 当仅在原生孟加拉文或罗马化孟加拉文数据上训练时，模型性能如何变化？
• RQ2 在原生与罗马化孟加拉文数据上联合训练是否能提升分类性能，相比分别在每种模态上单独训练？
• RQ3 跨语言迁移机制——尤其是利用两种书写系统间语义相似性的方法——在低资源仇恨言论检测中的有效性如何？
• RQ4 在混合语言与罗马化孟加拉文文本中，基于Transformer的模型在分类仇恨言论时的主要失败模式是什么？
• RQ5 少样本微调在罗马化孟加拉文低资源设置下对模型泛化能力的影响如何？

主要发现

• 当在独立的原生孟加拉文或罗马化孟加拉文数据集上进行训练与评估时，XLM-RoBERTa表现最佳。
• MuRIL在联合训练与少样本设置中优于其他模型，因其能有效利用原生与罗马化形式之间的语义关联。
• 联合训练显著提升了模型泛化能力，尤其在罗马化孟加拉文上，得益于MuRIL在两种拼写变体上的预训练。
• 模型在观点依赖性内容上表现困难，因标注者偏差导致标注不一致，进而引发模型误分类。
• 混合语言结构——即混合使用孟加拉语语法与英语词汇——因词元层面的模糊性，导致持续误分类。
• 对含侮辱性词汇的帖子进行初步标注为仇恨内容，但未明确指向特定群体，导致真实标签错误，并传播至模型预测中。