[論文レビュー] HERDPhobia: A Dataset for Hate Speech against Fulani in Nigeria

Saminu Mohammad Aliyu, Gregory Maksha Wajiga+4 more|arXiv (Cornell University)|Nov 28, 2022

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本稿では、ナイジェリアのフルアニ遊牧民を標的とした、英語、 Hausa語、ナイジェリア・ピジン語の3ヶ国語対応で、初めての嫌がらせ投稿データセットである HERDPhobia を紹介する。手作業によるアノテーションでは、1,131件の嫌がらせ投稿、5,007件の嫌がらせでない投稿、36件の曖昧な投稿が分類された。微調整された事前学習済み言語モデルを用いた実験では、XLM-T が99.83％の重み付きF1スコアを達成し、低リソースなアフリカNLP環境における嫌がらせ検出の有効性を示した。

ABSTRACT

Social media platforms allow users to freely share their opinions about issues or anything they feel like. However, they also make it easier to spread hate and abusive content. The Fulani ethnic group has been the victim of this unfortunate phenomenon. This paper introduces the HERDPhobia - the first annotated hate speech dataset on Fulani herders in Nigeria - in three languages: English, Nigerian-Pidgin, and Hausa. We present a benchmark experiment using pre-trained languages models to classify the tweets as either hateful or non-hateful. Our experiment shows that the XML-T model provides better performance with 99.83% weighted F1. We released the dataset at https://github.com/hausanlp/HERDPhobia for further research.

研究の動機と目的

• ナイジェリアにおけるフルアニ民族を標的とした、特にマルチリンガルな文脈を想定した、アノテート済みの嫌がらせ投稿データセットが不足しているという問題に対処すること。
• 特にTwitterを含むソーシャルメディア上でのフルアニ遊牧民を標的とした嫌がらせ投稿を検出するためのベンチマークデータセットを構築すること。
• 今後のアフリカ言語におけるNLP研究を支援するため、この新規データセット上で事前学習済み言語モデルの性能を評価すること。
• 個人情報の匿名化と、責任ある嫌がらせ投稿検出の促進を含め、倫理的AIへの貢献を図ること。

提案手法

• 英語（97.2％）、アラビア語（1.8％）、ナイジェリア・ピジン語（1％）の3言語で、フルアニ、牛、遊牧民関連のキーワードを用いて、6,174件のツイートを収集した。
• WarnerとHirschberg（2012）のガイドラインに従い、3名のアノテーターによる過半数投票方式を用いて、3つのクラスに分類した：嫌がらせ（HT）、嫌がらせでない（NHT）、不確実（IND）。
• 訓練および評価から不確実なツイート（n=36）を除外し、モデル訓練に使用したのは、892件のHTおよび3,523件のNHTツイートとなった。
• 同じハイパーパrameter（20エポック、バッチサイズ32、シーケンス長128）を用いて、3つのマルチリンガル事前学習済み言語モデル（XLM-T、mBERT、AfriBERTa）をクリーン化されたデータセット上で微調整した。
• ホールドアウトされたテストセット上で重み付きF1スコアを用いてモデルの性能を評価し、XLM-T が最も優れた結果を示した。
• すべての個人識別情報を匿名化し、ユーザーメンションを'@user'に置き換えることで、倫理的なデータ取り扱いを確保した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みマルチリンガル言語モデルは、ナイジェリアのフルアニ遊牧民を標的とした嫌がらせ投稿の検出において、どの程度の性能を示すか？
• RQ2 低リソースなアフリカNLP環境下で、異なる言語間でのモデル性能にどのような差が生じるか？
• RQ3 アノテーター間の一貫性は、マルチリンガルかつ文化的に敏感な文脈における嫌がらせ投稿の分類の複雑さをどの程度反映しているか？
• RQ4 HERDPhobiaのようなマルチリンガルデータセットは、アフリカにおける代表されていない民族グループに対する強固な嫌がらせ投稿検出システムの開発を支援できるか？
• RQ5 データセットに占める英語の優位性（97.2％）は、XLM-T などのマルチリンガルモデルの性能にどのように影響を与えるか？

主な発見

• HERDPhobia データセットには、手作業によるアノテーション済みのツイートが6,174件含まれており、そのうち1,131件が嫌がらせ、5,007件が嫌がらせでない、36件が曖昧と分類された。Fleiss kappa のアノテーター間一貫性は57％であった。
• XLM-T がテストセットで99.83％の重み付きF1スコアを達成し、mBERT（80.96％）および AfriBERTa（78.07％）を上回った。
• XLM-T の高い性能は、そのモデルが英語で事前学習されていることと、データセットの主要言語（97.2％が英語）と整合していることに起因する。
• 嫌がらせのツイートは、ナイジェリア南部の州に最も多く見られ、ラゴス州が最多（100件）を記録しており、ナイジェリアにおける民族的嫌悪の言説に関する先行研究と整合的である。
• 個人情報がすべて匿名化され、プライバシー保護に配慮した形でGitHubに公開された。
• 本研究は、アフリカNLP分野における、差別を受けやすい民族グループを標的とした嫌がらせ投稿検出の基盤となるベンチマークを確立した。今後、他の差別を受けやすいコミュニティや嫌がらせの種別への応用が可能である。