[論文レビュー] Fairness in Language Models Beyond English: Gaps and Challenges

Krithika Ramesh, Sunayana Sitaram+1 more|arXiv (Cornell University)|Feb 24, 2023

Social Policy and Reform Studies被引用数 4

ひとこと要約

本論文は、多言語および非英語言語モデルにおける公平性の課題を調査し、英語以外の言語における包括的でないバイアス評価および是正手法の欠如を強調している。現在のデータセット駆動型アプローチは、多様な言語や文化にスケールしないことが示され、多言語NLPにおける交差的で、学際的かつ文化的に根ざした公平性フレームワークの構築が求められている。

ABSTRACT

With language models becoming increasingly ubiquitous, it has become essential to address their inequitable treatment of diverse demographic groups and factors. Most research on evaluating and mitigating fairness harms has been concentrated on English, while multilingual models and non-English languages have received comparatively little attention. This paper presents a survey of fairness in multilingual and non-English contexts, highlighting the shortcomings of current research and the difficulties faced by methods designed for English. We contend that the multitude of diverse cultures and languages across the world makes it infeasible to achieve comprehensive coverage in terms of constructing fairness datasets. Thus, the measurement and mitigation of biases must evolve beyond the current dataset-driven practices that are narrowly focused on specific dimensions and types of biases and, therefore, impossible to scale across languages and cultures.

研究の動機と目的

• 英語中心のアプローチに比べ、非英語および多言語NLP文脈における公平性研究の不足を特定・分析すること。
• 言語的・文化的多様性が、既存のバイアス測定および是正技術のスケーラビリティと妥当性をどのように損なうかを検討すること。
• 現行の公平性メトリクスやデータセットが、非英語言語における交差的アイデンティティや社会文化的なニュアンスを十分に捉えていないことの制限を強調すること。
• 多様で文化的に配慮された評価ベンチマークを整備するために、学際的かつ文化的に配慮されたチームの構成を提言すること。
• データセット駆動型で限定的なバイアス評価から、言語的変異やパワー構造を考慮した包括的で文脈に敏感な公平性評価への転換を求める。

提案手法

• 多言語および非英語NLPにおける公平性文献を包括的に調査し、バイアス測定および是正戦略に焦点を当てる。
• 代表的有害性と割り当て的有害性にバイアスの種類を分類し、それが言語や文化によってどのように異なる形で現れるかに注目する。
• WEAT や SEAT といった既存の公平性メトリクスを分析しながら、それらが交差的および文化的要因を捉える上で抱える限界を批判する。
• 文化的・言語的不一致のため、公平性に重要な応用においてゼロショット翻訳や直接的なデータセット翻訳が文化的文脈を保持できず、誤ったまたは効果のないバイアス是正をもたらすリスクを評価する。
• 特に低リソース言語や文法的に性別を含む言語において、多様な社会文化的文脈を反映する共通の価値体系と文化的に配慮されたモデル設計の必要性を提言する。
• 交差的公平性メトリクスと人間を含む評価（human-in-the-loop evaluation）の活用を推奨し、バイアス評価の妥当性と信頼性を保証する。

実験結果

リサーチクエスチョン

• RQ1 非英語および多言語文脈における言語モデルの代表的有害性と割り当て的有害性は、英語中心のシステムと比べてどのように異なるか？
• RQ2 WEAT や SEAT といった現行の公平性メトリクスが、多言語的および文化的に多様な環境におけるバイアスを十分に捉えていない理由は何か？
• RQ3 低リソース言語および文法的に性別を含む言語に対して、スケーラブルで文化的に配慮された公平性評価ベンチマークを構築する際の主な課題は何か？
• RQ4 方言、音声学的特徴、文法的構造といった言語的変異が、多言語言語モデルにおけるバイアスにどのように寄与するか？
• RQ5 学際的かつ文化的に多様なチームが、多言語NLPシステムにおけるバイアスの特定と是正に果たす役割は何か？

主な発見

• NLPにおける公平性研究の大部分は依然として英語中心であり、言語ユーザーの世界的な多様性にもかかわらず、非英語および多言語文脈にほとんど注目が向けられていない。
• WEAT や SEAT といった既存の公平性メトリクスは操作に弱く、バイアスにおける交差的アイデンティティや文化的ニュアンスを捉えていない。
• 公平性評価のためのゼロショット翻訳や直接的なデータセット翻訳は、文化的文脈を保持できず、誤ったまたは効果のないバイアス是正をもたらすことがある。
• トレーニングデータにおけるバイアスは深く根ざしており、モデルは非英語コーパスにおけるマイノリティコミュニティの代表性不足や人種的・性的な不均衡を反映している。
• 非英語言語における多様で高品質な公平性ベンチマークの欠如が、公平性対策のスケーラビリティと一般化能力を著しく制限している。
• 現在のアプローチでは、特に低リソース言語や社会文化的に複雑な状況における割り当て的有害性の是正が不十分である。