[論文レビュー] Data-Efficient Strategies for Expanding Hate Speech Detection into Under-Resourced Languages

Paul Röttger, Debora Nozza+2 more|arXiv (Cornell University)|Oct 20, 2022

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本稿では、利用可能な英語データを初期事前学習に活用することで、限られたターゲット言語のファインチューニングデータのみを用いて、リソースが乏しい言語における嫌がらせ検出モデルの効率的導入戦略を提案する。強い性能が得られるには、ターゲット言語データがわずかに必要であり、それ以上の追加で得られる利益は急速に減少する。初期の英語ファインチューニングにより汎化性能が向上し、アノテーションコストとリスクを低減することで、低リソース環境での効果的な展開が可能になる。

ABSTRACT

Hate speech is a global phenomenon, but most hate speech datasets so far focus on English-language content. This hinders the development of more effective hate speech detection models in hundreds of languages spoken by billions across the world. More data is needed, but annotating hateful content is expensive, time-consuming and potentially harmful to annotators. To mitigate these issues, we explore data-efficient strategies for expanding hate speech detection into under-resourced languages. In a series of experiments with mono- and multilingual models across five non-English languages, we find that 1) a small amount of target-language fine-tuning data is needed to achieve strong performance, 2) the benefits of using more such data decrease exponentially, and 3) initial fine-tuning on readily-available English data can partially substitute target-language data and improve model generalisability. Based on these findings, we formulate actionable recommendations for hate speech detection in low-resource language settings.

研究の動機と目的

• 限られたアノテート済みデータを伴うリソースが乏しい言語における効果的な嫌がらせ検出モデルの実現により、嫌がらせ検出における世界的な格差を是正すること。
• 嫌がらせコンテンツのアノテーションにかかるコストとリスクを低減するため、ターゲット言語のラベル付け作業を最小限に抑えること。
• 高リソースの英語データで初期ファインチューニングを実施することで、リソースが乏しい状況下でターゲット言語データをどの程度代替できるかを調査すること。
• リソースが乏しい言語環境における嫌がらせ検出システムの展開に向けた、実行可能で根拠に基づいた提言を策定すること。

提案手法

• アラビア語、スペイン語、ヒンディー語、ポルトガル語、イタリア語の5つの非英語言語において、ランダムに抽出したさまざまなサイズの嫌がらせデータを用いて、単言語および多言語トランスフォーマー・モデルのファインチューニングを実施。
• 2段階のファインチューニングプロセスを適用：まず英語データで（任意に）、その後、段階的に大きなターゲット言語データのサンプルで。
• ゼロショットおよびフェイシング性能を評価するため、ホールドアウトテストスイートとしてMultilingual HateCheck (MHC) を使用。
• ターゲット言語データセットのホールドアウトテストセットとMHCを用いてモデルのパフォーマンスを評価し、精度と汎化性能を測定。
• 妥当性を確保するため、各言語とモデルタイプごとに10個のランダムシードを用い、5言語と5モデルタイプで合計3,000のモデルをトレーニング。
• hatespeechdata.com から、西欧の法的定義における保護対象グループを標的とする嫌がらせに合致するデータセットを選定。

実験結果

リサーチクエスチョン

• RQ1 リソースが乏しい言語における嫌がらせ検出のパフォーマンスを高めるために、どの程度のターゲット言語ファインチューニングデータが必要か？
• RQ2 ターゲット言語データ量の増加によるパフォーマンス向上は、次第に利益が減少する傾向にあるか？
• RQ3 初期の英語データでのファインチューニングが、モデルの汎化性能向上に寄与し、ターゲット言語データの代替としてどの程度有効か？
• RQ4 初期の英語ファインチューニングは、異なる言語間でモデルの頑健性およびドメイン外性能にどのように影響を与えるか？
• RQ5 限られたアノテーション負荷でリソースが乏しい言語に嫌がらせ検出を展開するにあたり、最も効果的で低コストな戦略は何か？

主な発見

• 研究対象の5つの非英語言語すべてにおいて、ホールドアウトテストセットで強いパフォーマンスを達成するには、わずか100〜500例程度のターゲット言語ファインチューニングデータで十分である。
• ターゲット言語データ量の増加によるパフォーマンス向上は指数関数的に減少しており、小さなデータ閾値を超えると、限界的改善は急速に小さくなる。
• 入手可能な英語データで初期ファインチューニングを行うことで、モデルの汎化性能が顕著に向上し、特にターゲットデータが不足している状況では、ターゲット言語データの部分的代替が可能になる。
• XLM-T などの多言語モデルは、初期の英語ファインチューニングにより、ターゲット言語でのゼロショット転送性能が向上する。
• ドメイン外評価から、ターゲットデータでのみファインチューニングされたモデルは頑健性に欠ける可能性があることが判明し、多様なデータ収集と高リソース言語での初期事前学習の重要性が浮き彫りになった。
• 小規模なデータサンプルとCPU上での効率的な計算を用いたため、ファインチューニングの環境的コストは最小限に抑えられ、低リソースのオーバーヘッドでスケーラブルであることが示唆された。