[論文レビュー] Highly Generalizable Models for Multilingual Hate Speech Detection

Neha Deshpande, Nicholas Farris+1 more|arXiv (Cornell University)|Jan 27, 2022

Hate Speech and Cyberbullying Detection被引用数 9

ひとこと要約

本稿では、LASER や MUSE からの言語に依存しない埋め込み、および mBERT と CNN-GRU アーキテクチャを用いて、非常に汎用性の高い多言語ハートスピーチ検出モデルを提案する。11言語で訓練した場合、単一言語での訓練よりも性能が著しく向上することが示され、多言語および言語系統ごとのファインチューニングが、特にリソースが限られた状況において、単一言語モデルを上回ることがわかった。

ABSTRACT

Hate speech detection has become an important research topic within the past decade. More private corporations are needing to regulate user generated content on different platforms across the globe. In this paper, we introduce a study of multilingual hate speech classification. We compile a dataset of 11 languages and resolve different taxonomies by analyzing the combined data with binary labels: hate speech or not hate speech. Defining hate speech in a single way across different languages and datasets may erase cultural nuances to the definition, therefore, we utilize language agnostic embeddings provided by LASER and MUSE in order to develop models that can use a generalized definition of hate speech across datasets. Furthermore, we evaluate prior state of the art methodologies for hate speech detection under our expanded dataset. We conduct three types of experiments for a binary hate speech classification task: Multilingual-Train Monolingual-Test, MonolingualTrain Monolingual-Test and Language-Family-Train Monolingual Test scenarios to see if performance increases for each language due to learning more from other language data.

研究の動機と目的

• 多様な言語にわたる包括的で文化的に繊細な定義に基づいた、統一された多言語ハートスピーチ検出の課題に対処する。
• 言語間の意味的表現を活用することで、リソースが限られた言語や未学習の言語に対しても、良好な一般化性能を示すモデルを開発する。
• 今後の研究を支援するため、多言語ハートスピーチ検出のためのベンチマークデータセットと訓練済みモデルを構築する。
• 言語系統や多言語事前学習のどちらが、ハートスピーチ分類におけるより良い一般化性能をもたらすかを調査する。
• 3つの異なる訓練・テストシナリオ（単一言語、多言語、言語系統ファインチューニング）におけるモデル性能を評価する。

提案手法

• 英語、ドイツ語、デンマーク語、フランス語、スペイン語、イタリア語、ポルトガル語を含む11言語にわたる多言語ハートスピーチデータセットを、複数の公開ソースから収集・整備した。
• LASER および MUSE を用いて言語に依存しない文の埋め込みを適用し、多様な言語を共有される意味的空間にマッピングすることで、言語間転送を可能にした。
• 3つのモデルアーキテクチャ（LASER + ロジスティック回帰、MUSE + CNN-GRU、mBERT）を用いて、二値ハートスピーチ分類の訓練と評価を実施した。
• 一般化性能を評価するために、3つの評価シナリオ（単一言語訓練・単一言語テスト、多言語訓練・単一言語テスト、言語系統訓練・単一言語テスト）を実施した。
• すべての言語とシナリオにおいて、バランスの取れた性能評価を保証するため、重み付きF1スコアを主な評価指標とした。
• データの不均衡やモデルアーキテクチャの影響を分析するためのアブレーションスタディを実施し、特にリソースが限られた状況での性能に注目した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 共有される意味的埋め込みを用いた言語に依存しない設定において、ハートスピーチは通常の会話とどのように異なるか？
• RQ2 RQ2: 複数の言語で訓練された場合、さまざまなモデルアーキテクチャのハートスピーチ検出性能はどの程度か？
• RQ3 RQ3: 言語系統で訓練されたモデルは、同じ系統に属する他の言語にどの程度一般化できるか？特に、全言語で訓練されたモデルと比較してどうか？
• RQ4 RQ4: 多言語事前学習は、リソースが限られた言語においても、単一言語訓練よりも優れた一般化性能をもたらすか？
• RQ5 RQ5: データの不均衡と言語系統の構造は、言語間でのモデル性能および一般化にどのように影響するか？

主な発見

• 多言語訓練シナリオは、すべてのモデルアーキテクチャにおいて単一言語訓練を常に上回った。特に、MUSE + CNN-GRU モデルは、多言語設定下でポルトガル語で重み付きF1スコア0.887を達成した。
• 言語系統ファインチューニングは高い性能を示し、mBERT モデルは言語系統シナリオでポルトガル語で重み付きF1スコア0.894を記録した。これはロマンス語族内での効果的な転送を示している。
• 少ないデータ量であったにもかかわらず、言語系統で訓練されたモデルは多言語モデルに近い性能を達成した。例えば、ゲルマン語族では、mBERT が0.811、LASER + LR が0.842 のF1スコアを記録した。
• MUSE + CNN-GRU モデルは、多言語および言語系統シナリオの大部分で、LASER + LR や mBERT を上回った。特にロマンス語族では、イタリア語でF1スコアが0.824に達した。
• 多言語モデルは、ドイツ語（0.893 vs. 0.881）やイタリア語（0.824 vs. 0.805）において、単一言語モデルより10–15%のF1スコアの向上を示し、言語間データの利点を裏付けた。
• ゲルマン語族ではロマンス語族に比べて性能が低く、これは訓練データの80%が英語に占められており、モデルが英語の意味論にバイアスがかかった可能性があるためと推察される。