[論文レビュー] Multilingual HateCheck: Functional Tests for Multilingual Hate Speech Detection Models

Paul Röttger, Haitham Seelawi+3 more|arXiv (Cornell University)|Jun 20, 2022

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

Multilingual HateCheck (MHC) は、アラビア語、オランダ語、フランス語、ドイツ語、ヒンディー語、イタリア語、中国語、ポーランド語、ポルトガル語、スペイン語の10ヶ国語で、文化的に適応された手作業によるテストケースを用いて、ハトー スピーチ検出モデルの多言語的評価を目的とした機能的テストのスイートを提供する。このテストは、キーワード依存、偏った標的カバレッジ、一貫性のない多言語間転送といった、高パフォーマンスの多言語モデルですら見られる深刻なモデルの弱みを明らかにする。

ABSTRACT

Hate speech detection models are typically evaluated on held-out test sets. However, this risks painting an incomplete and potentially misleading picture of model performance because of increasingly well-documented systematic gaps and biases in hate speech datasets. To enable more targeted diagnostic insights, recent research has thus introduced functional tests for hate speech detection models. However, these tests currently only exist for English-language content, which means that they cannot support the development of more effective models in other languages spoken by billions across the world. To help address this issue, we introduce Multilingual HateCheck (MHC), a suite of functional tests for multilingual hate speech detection models. MHC covers 34 functionalities across ten languages, which is more languages than any other hate speech dataset. To illustrate MHC's utility, we train and test a high-performing multilingual hate speech detection model, and reveal critical model weaknesses for monolingual and cross-lingual applications.

研究の動機と目的

• 英語以外の言語におけるハトー スピーチ検出モデルの診断的評価ツールの不足に取り組み、数十億人の非英語話者の保護に不可欠である。
• 従来のテストセット評価の限界を克服し、システム的バイアスや単純化された意思決定ルールが隠蔽されるのを防ぐ。
• 多言語的・文化的に多様な文脈において、モデルの能力を細分化し、対照的（contrastive）に評価できる多言語機能テストスイートの開発。
• 特定の失敗モードを同定することで、より頑丈で公平かつ汎用性の高い多言語ハトー スピーチ検出システムの開発を支援する。
• 英語用の HateCheck フレームワークを、現地の話者による専門家による支援を受けて、10ヶ国語に拡張する。

提案手法

• 10ヶ国語で34の機能的テストカテゴリを設計し、各カテゴリに25～27件の対照的テストケース（憎しみを含むコンテンツと含まないコンテンツの対比）を含める。
• 現地話者の言語専門家を用いて、元の英語 HateCheck を基に、各ターゲット言語における文化的・言語的現実性に適合させる形でテストケースを手作業で作成する。
• キーワードマッチに依存するモデルをテストするため、言語的にハトー スピーチに似せた非憎悪的コンテンツ（例：反対発言や風刺）を含め、対照的設計を確保する。
• MHCスイートを用いて、ファインチューニングされた XLM-T モデルを単語言語およびクロスリンガル設定（ゼロショットおよびフェイシュー）で評価し、モデルの弱みを診断する。
• 専門家がアノテートしたテストケースのゴールドスタンダードラベルを用いて、総合スコアではなく、特定の機能的能力におけるモデルパフォーマンスを測定する。
• MHCをGitHubで公開し、再現可能性およびモデル開発と評価におけるコミュニティの活用を支援する。

実験結果

リサーチクエスチョン

• RQ1 多言語ハトー スピーチ検出モデルは、10ヶ国語で多様で対照的かつ文化的に適応されたテストスイートにおいて、どのように性能を示すか？
• RQ2 モデルは多言語環境下で、文脈的理解よりもキーワードやフレーズへの過剰依存を示す程度はどの程度か？
• RQ3 ゼロショットおよびフェイシュー設定における、異なる言語ペア間でのクロスリンガル転送は、どの程度一貫性があり信頼できるか？
• RQ4 特に異なる言語的・文化的文脈における保護対象グループに関して、モデルの標的カバレッジにどのようなバイアスが存在するか？
• RQ5 標準的なホールドアウトテストセット評価では見えないが、機能的テストはモデルの弱みを明らかにできるか？

主な発見

• 多言語 XLM-T モデルは、キーワードやフレーズに対して顕著な過敏応答を示し、非憎悪的文脈においても同様であった。
• モデルのパフォーマンスは言語ごとに一貫性がなく、とりわけ弱い立場にあるグループや差別を受けやすいグループの標的カバレッジに顕著なバイアスが見られた。
• ゼロショットおよびフェイシュー設定の両方で、クロスリンガル転送は誤りが多く、信頼性に欠け、言語間での一般化能力が低いことが示された。
• 反対発言など、ハトー スピーチに似せた非憎悪的コンテンツを正しく分類できず、文脈理解の欠如が明らかになった。
• 標準的なホールドアウトテストセット評価では見えなかったが、機能的テストにより、類似した言語的パターンにおいて一貫性のないラベル付けが明らかになった。
• MHCは、高パフォーマンスのモデルにおいても、深刻な失敗モードを効果的に同定できた。これは、多言語ハトー スピーチ検出における診断的ツールとしての価値を示している。