[论文解读] L3Cube-MahaHate: A Tweet-based Marathi Hate Speech Detection Dataset and BERT models

Abhishek Velankar, Hrushikesh Patil+3 more|arXiv (Cornell University)|Mar 25, 2022

Hate Speech and Cyberbullying Detection被引用 25

一句话总结

本论文介绍了 L3Cube-MahaHate，这是一个包含四个标签的 Marathi hate speech 数据集，包含 25k 条推文，并对 CNN、LSTM、BiLSTM 和 transformer 进行基准测试，结果显示单语 Marathi 的 BERT 模型比多语言模型表现更好；MahaBERT 实现了最佳二分类准确率，MahaRoBERTa 实现了最佳四类分类准确率。

ABSTRACT

Social media platforms are used by a large number of people prominently to express their thoughts and opinions. However, these platforms have contributed to a substantial amount of hateful and abusive content as well. Therefore, it is important to curb the spread of hate speech on these platforms. In India, Marathi is one of the most popular languages used by a wide audience. In this work, we present L3Cube-MahaHate, the first major Hate Speech Dataset in Marathi. The dataset is curated from Twitter, annotated manually. Our dataset consists of over 25000 distinct tweets labeled into four major classes i.e hate, offensive, profane, and not. We present the approaches used for collecting and annotating the data and the challenges faced during the process. Finally, we present baseline classification results using deep learning models based on CNN, LSTM, and Transformers. We explore mono-lingual and multi-lingual variants of BERT like MahaBERT, IndicBERT, mBERT, and xlm-RoBERTa and show that mono-lingual models perform better than their multi-lingual counterparts. The MahaBERT model provides the best results on L3Cube-MahaHate Corpus. The data and models are available at https://github.com/l3cube-pune/MarathiNLP .

研究动机与目标

• 从 Twitter 创建一个大型、人工标注的 Marathi hate speech 数据集，具有细粒度标签（Hate、Offensive、Profane、Not）。
• 提供基线基准，使用 CNN、LSTM、BiLSTM 和 transformer 模型，包括单语言和多语言的 BERT 变体。
• 比较单语言 Marathi BERT 模型与多语言对手的性能，以评估优势。
• 提供用于 Marathi 自然语言处理和仇恨言论检测的公开数据集和模型。

提出的方法

• 使用 Marathi hate 相关关键词和超过 150 个脏话从 Twitter 收集数据；由以 Marathi 为母语的本地语言使用者手动标注为四个类别。
• 数据集统计信息，包含 train/val/test 划分以及统一的类别分布以简化建模。
• 使用随机、可训练和不可训练的 fastText 嵌入向量，对 CNN、LSTM 和 BiLSTM 进行基线实验。
• 基于 Transformer 的模型包括 IndicBERT、mBERT、xlm-RoBERTa、MahaBERT、MahaALBERT、MahaRoBERTa；对二类和四类任务进行微调和评估。
• 在模型中心公开发布 MahaHate-BERT 与 MahaHate-MultiRoberta 变体；在 GitHub 提供资源。

实验结果

研究问题

• RQ1 最先进的深度学习体系在 Marathi hate speech 数据集上的二类和四类分类任务中的表现如何？
• RQ2 单语言 Marathi BERT 模型是否在 Marathi hate speech 检测中优于多语言 BERT 变体？
• RQ3 哪些 Transformer 变体在 Marathi hate speech 的二类和四类分类中能取得最佳准确率？
• RQ4 在 CNN/LSTM 基线中使用可训练与不可训练嵌入向量的影响是什么？

主要发现

• 使用非可训练的 fastText 嵌入的 CNN/LSTM/BiLSTM 基线表现具有竞争力，常常超越可训练变体。
• 单语言 Marathi BERT 模型在各任务中均优于多语言对手。
• MahaBERT 在二类（binary）准确率中达到最佳 0.909，而 MahaRoBERTa 在四类准确率中达到最佳 0.803。
• 在 Transformer 变体中，MahaBERT 和 MahaRoBERTa 分别在二类和四类设置中提供了最佳结果。
• 报道的最佳结果为二类：0.909（MahaBERT）；四类：0.803（MahaRoBERTa）。