[論文レビュー] BD-SHS: A Benchmark Dataset for Learning to Detect Online Bangla Hate Speech in Different Social Contexts

Nauros Romim, Mosahed Ahmed+4 more|arXiv (Cornell University)|Jun 1, 2022

Hate Speech and Cyberbullying Detection被引用数 14

ひとこと要約

本稿では、多様なオンラインソーシャルコンテキストから収集された50,200件のバンガラー嫌がらせ発言を含む大規模で手動アノテーションが施されたベンチマークデータセット、BD-SHSを紹介する。新しい階層的アノテーションプロセスと147万件のソーシャルメディア投稿から微調整された単語埋め込みを用いた場合、最良のモデルはF1スコア91.0%を達成し、バンガラー嫌がらせ発言検出分野で新たな最先端水準を確立した。

ABSTRACT

Social media platforms and online streaming services have spawned a new breed of Hate Speech (HS). Due to the massive amount of user-generated content on these sites, modern machine learning techniques are found to be feasible and cost-effective to tackle this problem. However, linguistically diverse datasets covering different social contexts in which offensive language is typically used are required to train generalizable models. In this paper, we identify the shortcomings of existing Bangla HS datasets and introduce a large manually labeled dataset BD-SHS that includes HS in different social contexts. The labeling criteria were prepared following a hierarchical annotation process, which is the first of its kind in Bangla HS to the best of our knowledge. The dataset includes more than 50,200 offensive comments crawled from online social networking sites and is at least 60% larger than any existing Bangla HS datasets. We present the benchmark result of our dataset by training different NLP models resulting in the best one achieving an F1-score of 91.0%. In our experiments, we found that a word embedding trained exclusively using 1.47 million comments from social media and streaming sites consistently resulted in better modeling of HS detection in comparison to other pre-trained embeddings. Our dataset and all accompanying codes is publicly available at github.com/naurosromim/hate-speech-dataset-for-Bengali-social-media

研究の動機と目的

• 言語的多様性と文脈的代表性に欠けるバンガラー嫌がらせ発言データセットの不足に対処すること。
• バンガラー嫌がらせ発言検出におけるラベル付けの一貫性と信頼性を向上させるための階層的アノテーションフレームワークの開発。
• 一般化可能な自然言語処理モデルのトレーニングおよび評価を支援する大規模かつ公開可能なベンチマークデータセットの作成。
• ソーシャルメディアテキスト上で訓練されたドメイン特化型単語埋め込みが、嫌がらせ発言検出性能を向上させる有効性の調査。

提案手法

• BD-SHSデータセットは、オンラインソーシャルネットワーキングおよびストリーミングプラットフォームから50,200件以上の攻撃的コメントをクローリングすることで構築された。
• ラベル付けの一貫性を確保し、主観性を低減するために、複数段階のラベル付けステージを含む階層的アノテーションプロセスが採用された。
• 文脈に特化した言語的パターンをよりよく捉えるために、147万件のバンガラー語ソーシャルメディアおよびストリーミングプラットフォームのコメントに特化した単語埋め込みが訓練された。
• 標準的な指標（精度、再現率、F1スコア）を用いて、BD-SHSデータセット上で複数の自然言語処理モデルを微調整し、評価した。
• カスタム埋め込みの性能を他の事前学習済み埋め込みと比較したところ、嫌がらせ発言検出において優れた有効性が示された。
• データセットおよびコードはすべて公開されており、バンガラ語における低リソース自然言語処理分野における再現可能性とさらなる研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 嫌がらせ発言データセットに多様なソーシャルコンテキストを含めることで、モデルの一般化性能にどのような影響を与えるか？
• RQ2 フラットラベル付けアプローチと比較して、階層的アノテーションプロセスはバンガラー嫌がらせ発言データセットにおけるラベル品質と一貫性を向上させることができるか？
• RQ3 ソーシャルメディアテキスト上で訓練されたドメイン特化型単語埋め込みは、一般向け事前学習済み埋め込みと比較して、バンガラー嫌がらせ発言検出においてどの程度優れているか？
• RQ4 大規模かつ文脈的に多様なバンガラー嫌がらせ発言ベンチマーク上で、最先端の自然言語処理モデルの性能上限はどの程度か？
• RQ5 BD-SHSのサイズと言語的多様性は、既存のバンガラー嫌がらせ発言データセットと比較して、カバー範囲と代表性の観点でどの程度優れているか？

主な発見

• BD-SHSデータセットには50,200件を超える手動ラベル化されたバンガラー嫌がらせ発言コメントが含まれており、これまでに発表されたどのバンガラー嫌がらせ発言データセットよりも少なくとも60%以上大きい。
• 最良のモデルはBD-SHSベンチマーク上でF1スコア91.0%を達成し、バンガラー嫌がらせ発言検出分野で新たな最先端水準を確立した。
• 147万件のソーシャルメディアおよびストリーミングプラットフォームのコメントに特化して訓練された単語埋め込みは、他の事前学習済み埋め込みと比較して、嫌がらせ発言検出タスクで顕著に優れた性能を示した。
• 階層的アノテーションプロセスは、バンガラー嫌がらせ発言におけるラベル付けの曖昧性を低減し、アノテーター間一貫性を向上させるのに効果的であった。
• 多様なソーシャルコンテキストを含むデータセットは、さまざまなタイプの攻撃的言語に対するモデルの頑健性と一般化性能を向上させた。
• データセットおよびコードの公開により、再現可能な研究が可能となり、バンガラ語における低リソース自然言語処理分野の進展が加速された。