[論文レビュー] LAHM : Large Annotated Dataset for Multi-Domain and Multilingual Hate Speech Identification

Ankit Yadav, Shubham Chandel+2 more|arXiv (Cornell University)|Apr 3, 2023

Hate Speech and Cyberbullying Detection被引用数 7

ひとこと要約

本稿では、6言語（英語、ヒンディー語、アラビア語、フランス語、ドイツ語、スペイン語）および5つの嫌がらせタイプ（嫌がらせ、セクシュアリズム、人種差別、宗教的憎悪、過激主義）にわたる約30万件のツイートを含む大規模な多言語・多ドメイン嫌がらせスパムデータセット、LAHMを紹介する。このデータセットは、単語単位の翻訳、多言語、およびクロスリンガルモデルを組み合わせた三段階のアノテーションパイプラインにより構築されており、多言語的、クロスリンガル的、ゼロショットの嫌がらせ検出タスクで最先端の性能を達成している。特に、多言語的少数-shot分類器は、アラビア語とフランス語を除き、単語単位のBERTモデルを上回る性能を示した。

ABSTRACT

Current research on hate speech analysis is typically oriented towards monolingual and single classification tasks. In this paper, we present a new multilingual hate speech analysis dataset for English, Hindi, Arabic, French, German and Spanish languages for multiple domains across hate speech - Abuse, Racism, Sexism, Religious Hate and Extremism. To the best of our knowledge, this paper is the first to address the problem of identifying various types of hate speech in these five wide domains in these six languages. In this work, we describe how we created the dataset, created annotations at high level and low level for different domains and how we use it to test the current state-of-the-art multilingual and multitask learning approaches. We evaluate our dataset in various monolingual, cross-lingual and machine translation classification settings and compare it against open source English datasets that we aggregated and merged for this task. Then we discuss how this approach can be used to create large scale hate-speech datasets and how to leverage our annotations in order to improve hate speech detection and classification in general.

研究の動機と目的

• 多様な言語と嫌がらせタイプをカバーする大規模で多言語的かつ多ドメインの嫌がらせスパムデータセットが不足しているという問題に対処すること。
• 単語単位のモデル、多言語モデル、およびクロスリンガルモデルを統合したスケーラブルで半教師ありのアノテーションパイプラインを構築し、効率的なデータラベリングを実現すること。
• 単語単位、多言語、クロスリンガルの設定において、最先端のトランスファー学習モデルを用いてデータセットを評価すること。
• 低リソース言語および未代表的なドメインにおいて、ゼロショットおよび少数-shot学習による嫌がらせ検出を可能にすること。
• 嫌がらせ言語検出におけるクロスリンガル移転とドメイン一般化の評価ベンチマークを提供すること。

提案手法

• 三段階のアノテーションパイプラインを用いた：まず、モデルを単語単位のデータでファインチューニングした。次に、クロスリンガルデータで多言語モデルを訓練した。最後に、低リソース言語に向けたクロスリンガルゼロショットモデルを適用した。
• データセットは、人間によるラベリングとモデルベースの投票を組み合わせて構築され、最終ラベル決定には最低2つのモデル予測が必要であった。
• 高レベルの嫌がらせ検出には、少数-shot学習で訓練された多言語バイナリ分類器を用い、ほとんどの言語で単語単位のBERTモデルを上回る性能を達成した。
• クロスリンガル多ドメイン分類は、ゼロショット移転学習を用いて評価され、HSmergeデータセットを用いてファインチューニングされた。
• 機械翻訳ベースの多ドメイン分類では、非英語テキストを英語に翻訳してモデル推論を実行した後、ラベルを集約した。
• 予測の信頼性を向上させるためにモデルアンサンブルを用い、複数のモデル（例：BERT、Perspective API、多言語分類器）の投票により最終ラベルを決定した。

Figure 1: Overall Annotation Pipeline Architecture

実験結果

リサーチクエスチョン

• RQ1 半教師ありで多段階のアノテーションパイプラインは、多言語的・多ドメインの嫌がらせスパムデータセットの作成を効果的にスケーリングできるか？
• RQ2 多言語的少数-shot分類器は、多様な言語におけるクロスリンガル嫌がらせ検出において、単語単位のBERTモデルと比較してどのように性能を示すか？
• RQ3 ゼロショットクロスリンガル移転学習は、言語および嫌がらせドメインの間でどの程度一般化できるか？
• RQ4 ヒンディー語、アラビア語、ドイツ語などの低リソース言語における、さまざまな嫌がらせタイプのラベル分布はどのようになっているか？
• RQ5 機械翻訳ベースの多ドメイン分類は、低リソース言語の嫌がらせ検出にとって実用的な代替手段となり得るか？

主な発見

• LAHMデータセットには、6言語と5つの嫌がらせタイプにわたる約30万件のツイートが含まれており、これほどの規模のデータセットは同種の中で最大である。
• 多言語的少数-shot分類器は、アラビア語とフランス語を除き、単語単位のBERTモデルを上回る性能を示した。
• ヒンディー語では、Perspective APIが31%のサンプルを嫌がらせと予測したのに対し、多言語分類器は12%と予測しており、検出におけるモデル固有のバイアスが顕在化した。
• アラビア語では、多言語分類器が73%の嫌がらせサンプルをセクシュアリズムまたは過激主義と分類しており、言語固有の分布パターンが顕在化した。
• フランス語では、32%のサンプルが嫌がらせと分類されたが、宗教的憎悪は最も低い8.3%であった。
• 機械翻訳ベースの多ドメインモデルは、12,312件を嫌がらせ、12,681件を過激主義と予測しており、言語ごとの高いモデルばらつきが確認された。

Figure 2: bleu scores for model translations