[論文レビュー] L3Cube-MahaHate: A Tweet-based Marathi Hate Speech Detection Dataset and BERT models

Abhishek Velankar, Hrushikesh Patil+3 more|arXiv (Cornell University)|Mar 25, 2022

Hate Speech and Cyberbullying Detection被引用数 25

ひとこと要約

本論文は L3Cube-MahaHate を紹介する。4ラベルを持つ25kツイートのマラーティ hate speech データセットで、CNN、LSTM、BiLSTM、そしてトランスフォーマーをベンチマークし、単言語マラーティBERTが多言語版を上回ることを示す。MahaBERT が最良の二値分類精度、MahaRoBERTa が最良の四クラス分類精度を達成。

ABSTRACT

Social media platforms are used by a large number of people prominently to express their thoughts and opinions. However, these platforms have contributed to a substantial amount of hateful and abusive content as well. Therefore, it is important to curb the spread of hate speech on these platforms. In India, Marathi is one of the most popular languages used by a wide audience. In this work, we present L3Cube-MahaHate, the first major Hate Speech Dataset in Marathi. The dataset is curated from Twitter, annotated manually. Our dataset consists of over 25000 distinct tweets labeled into four major classes i.e hate, offensive, profane, and not. We present the approaches used for collecting and annotating the data and the challenges faced during the process. Finally, we present baseline classification results using deep learning models based on CNN, LSTM, and Transformers. We explore mono-lingual and multi-lingual variants of BERT like MahaBERT, IndicBERT, mBERT, and xlm-RoBERTa and show that mono-lingual models perform better than their multi-lingual counterparts. The MahaBERT model provides the best results on L3Cube-MahaHate Corpus. The data and models are available at https://github.com/l3cube-pune/MarathiNLP .

研究の動機と目的

• Twitter からの大規模で手動で注釈付けされた Marathi hate speech データセットを、細かなラベル（Hate, Offensive, Profane, Not）で作成する。
• CNN、LSTM、BiLSTM、そして transformers を含むベースラインを、モノリンガルおよびマルチリンガルの BERT 変種を含めて提供する。
• モノ言語 Marathi BERT モデルと多言語版を比較し、性能の利点を評価する。
• Marathi NLP と hate speech detection の公開データセットとモデルを提供する。

提案手法

• Twitter から Marathi hate-related keywords および 150 を超える悪語を用いてデータを収集する。母語話者による4クラスへ手動で注釈付けを行う。
• train/val/test の分割と均一なクラス分布を持つデータセット統計情報を提供し、モデリングを簡易化する。
• random、trainable、non-trainable の fastText 埋め込みを用いた CNN、LSTM、BiLSTM のベースライン実験。
• IndicBERT、mBERT、xlm-RoBERTa、MahaBERT、MahaALBERT、MahaRoBERTa を含む transformer ベースのモデルを用い、2クラスおよび4クラス課題でファインチューニングと評価を実施する。
• MahaHate-BERT および MahaHate-MultiRoberta 変種のモデルハブでの公開リリース、GitHub 上のリソースを提供する。

実験結果

リサーチクエスチョン

• RQ1 Marathi hate speech データセットに対して、最先端の深層学習アーキテクチャは二値分類および4クラス分類でどの程度の性能を発揮するか？
• RQ2 モノリンガル Marathi BERT モデルは Marathi hate speech 検出で多言語版の BERT を上回るか？
• RQ3 どの transformer 変種が 2 クラスおよび 4 クラスの Marathi hate speech 分類で最も高い精度を示すか？
• RQ4 CNN/LSTM のベースラインにおいて、trainable 埋め込みと non-trainable 埋め込みの使用はどのような影響を与えるか？

主な発見

Model	2-Class Accuracy	4-Class Accuracy
CNN - Random	0.880	0.703
CNN - Trainable	0.866	0.710
CNN - Non-Trainable	0.870	0.751
LSTM - Random	0.857	0.681
LSTM - Trainable	0.860	0.691
LSTM - Non-Trainable	0.869	0.751
BiLSTM - Random	0.858	0.699
BiLSTM - Trainable	0.860	0.664
BiLSTM - Non-Trainable	0.870	0.761
IndicBERT	0.865	0.711
mBERT	0.903	0.783
xlm-RoBERTa	0.894	0.787
MahaALBERT	0.883	0.764
MahaBERT	0.909	0.803
MahaRoBERTa	0.902	0.803

• non-trainable fastText 埋め込みを用いた CNN/LSTM/BiLSTM のベースラインが競争力のある性能を示し、しばしば trainable な変種を上回る。
• モノリンガル Marathi BERT モデルは、タスク全体で多言語版を上回る。
• MahaBERT は 2クラス( binary )の最高精度 0.909 を達成し、MahaRoBERTa は 4クラスの最高精度 0.803 を達成。
• transformer 変種の中で、MahaBERT と MahaRoBERTa がそれぞれ binary と 4-class 設定でトップの結果を出す。
• 報告された最高の結果は 2-class: 0.909 (MahaBERT); 4-class: 0.803 (MahaRoBERTa)。