[論文レビュー] Hate Speech and Offensive Language Detection in Bengali

Mithun Das, Somnath Banerjee+2 more|arXiv (Cornell University)|Oct 7, 2022

Hate Speech and Cyberbullying Detection被引用数 6

ひとこと要約

本稿では、10,000件のボンゴル語ツイート（うち5,000件は本来のボンゴル文字、5,000件はラテン文字表記）から成る、嫌がらせ発言および攻撃的言語のラベルが付与された新しいベンチマークデータセットを紹介する。複数のトランスフォーマー基盤モデルを評価した結果、MuRILとの共同学習により、特にリソースが限られた状況や少データ設定において、文字体系間の意味的類似性を活用することで性能が著しく向上することが判明した。

ABSTRACT

Social media often serves as a breeding ground for various hateful and offensive content. Identifying such content on social media is crucial due to its impact on the race, gender, or religion in an unprejudiced society. However, while there is extensive research in hate speech detection in English, there is a gap in hateful content detection in low-resource languages like Bengali. Besides, a current trend on social media is the use of Romanized Bengali for regular interactions. To overcome the existing research's limitations, in this study, we develop an annotated dataset of 10K Bengali posts consisting of 5K actual and 5K Romanized Bengali tweets. We implement several baseline models for the classification of such hateful posts. We further explore the interlingual transfer mechanism to boost classification performance. Finally, we perform an in-depth error analysis by looking into the misclassified posts by the models. While training actual and Romanized datasets separately, we observe that XLM-Roberta performs the best. Further, we witness that on joint training and few-shot training, MuRIL outperforms other models by interpreting the semantic expressions better. We make our code and dataset public for others.

研究の動機と目的

• ボンゴル語のような低リソース言語、特にラテン文字表記（ローマ字表記）バージョンに対して、アノテート済みデータセットの不足に取り組むこと。
• ボンゴル語（5,000件）とローマ字表記ボンゴル語（5,000件）を含む、合計10,000件のツイートから成る、ゴールドスタンダードかつバランスの取れたデータセットを構築し、嫌がらせ、攻撃的、通常のラベルを付与すること。
• 実際のボンゴル語およびローマ字表記ボンゴル語における嫌がらせ発言分類のためのトランスフォーマー基盤モデルを評価し、トランスファー学習および少データ学習に焦点を当てる。
• 言語間転送および共同学習が、表記体系のバリエーション間でモデルの汎化性能と耐性に与える影響を調査すること。
• モデル予測における持続的な失敗モードを特定するための詳細な誤差分析を実施し、見解バイアスやコードミックスドの言語構造を含む要因を特定すること。

提案手法

• Twitterから収集した多様な10,000件のツイートを、本来のボンゴル文字とローマ字表記ボンゴル語に等分して、嫌がらせ、攻撃的、通常の内容について人間によるラベル付けを実施した。
• 微調整されたトランスフォーマー・アーキテクチャを用いたシーケンス分類のためのベースラインモデルとして、XLM-RoBERTa、mBERT、IndicBERT、MuRILを実装した。
• 本来のボンゴル語およびローマ字表記ボンゴル語の両データを用いた共同学習により、ゼロショットおよび少データ一般化性能の向上を図った。
• ラベル付きデータが限られるローマ字ボンゴル語に対して、少データファインチューニング戦略を適用し、モデル性能を評価した。
• 誤分類されたインスタンスを手動で検査することで誤差分析を実施し、失敗要因を見解バイアス、コードミックスド構造、および可能性のあるラベル付けエラーに分類した。
• 標準的なNLP評価指標（例：F1スコア、正答率）を用いて、異なる学習体制およびデータ分割におけるモデル性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 単独で本来のボンゴル語またはローマ字表記ボンゴル語データを用いて学習・評価した場合、モデル性能はどのように変化するか？
• RQ2 本来のボンゴル語およびローマ字表記ボンゴル語の両方のデータを共同で学習させることで、それぞれのモodalit（モダリティ）別に学習させる場合と比較して分類性能が向上するか？
• RQ3 特に文字体系間の意味的類似性を活用する手法を用いた言語間転送機構は、低リソース状況における嫌がらせ発言検出にどの程度有効か？
• RQ4 コードミックスドおよびローマ字表記ボンゴル語テキストにおける嫌がらせ発言分類において、トランスフォーマー基盤モデルの主な失敗モードは何か？
• RQ5 少データファインチューニングは、ローマ字表記ボンゴル語の低リソース状況におけるモデルの一般化性能にどのように影響するか？

主な発見

• XLM-RoBERTaは、単独で本来のボンゴル語またはローマ字表記ボンゴル語データセットを用いて学習・評価した場合、最高の性能を示した。
• MuRILは、共同学習および少データ設定において、本来のボンゴル語とローマ字表記ボンゴル語の間の意味的つながりを効果的に活用することで、他のモデルを上回った。
• 共同学習により、特にローマ字表記ボンゴル語において、モデルの一般化性能が顕著に向上した。これは、MuRILが両方の表記体系を事前学習段階で学習済みであることに起因する。
• アノテーターのバイアスが原因でラベル付けが一貫性を欠く場合、見解依存的なコンテンツに対してモデルが困難をきたした。
• ボンゴル語の文法構造に英語語彙を混ぜたコードミックスド構造は、トークンレベルの曖昧さを引き起こし、一貫した誤分類を引き起こした。
• 明確なグループ標的がない状況でスラーや侮辱的表現を含む投稿を一時的に嫌がらせとラベル付けしたが、これは正解ラベルの誤りを生じさせ、モデル予測に影響を及めた。