[論文レビュー] Tackling Bias in Pre-trained Language Models: Current Trends and Under-represented Societies

Vithya Yogarajan, Gillian Dobbie+2 more|arXiv (Cornell University)|Dec 3, 2023

Computational and Text Analysis Methods被引用数 5

ひとこと要約

本論文は、事前学習された言語モデルにおけるバイアスに関する包括的なサーベイを提示し、特に代表的でない社会および先住民族社会に対する現在の緩和技術の限界に焦点を当てる。一様な解決策ではなく、文脈に応じた、コミュニティが関与するアプローチを提唱する。ニュージーランドのマオリコミュニティを事例として挙げ、AI開発における包摂的で公平なデータガバナンスと文化的多様性を考慮した協働の必要性を強調する。

ABSTRACT

The benefits and capabilities of pre-trained language models (LLMs) in current and future innovations are vital to any society. However, introducing and using LLMs comes with biases and discrimination, resulting in concerns about equality, diversity and fairness, and must be addressed. While understanding and acknowledging bias in LLMs and developing mitigation strategies are crucial, the generalised assumptions towards societal needs can result in disadvantages towards under-represented societies and indigenous populations. Furthermore, the ongoing changes to actual and proposed amendments to regulations and laws worldwide also impact research capabilities in tackling the bias problem. This research presents a comprehensive survey synthesising the current trends and limitations in techniques used for identifying and mitigating bias in LLMs, where the overview of methods for tackling bias are grouped into metrics, benchmark datasets, and mitigation strategies. The importance and novelty of this survey are that it explores the perspective of under-represented societies. We argue that current practices tackling the bias problem cannot simply be 'plugged in' to address the needs of under-represented societies. We use examples from New Zealand to present requirements for adopting existing techniques to under-represented societies.

研究の動機と目的

• 事前学習された言語モデルに適用された現在のバイアス検出および緩和技術が、代表的でない社会および先住民族コミュニティのニーズに対し、どのように不十分であるかを特定すること。
• リソースに恵まれた国中心の一般的なバイアス緩和手法が、差別のを受けやすい集団の文化的・言語的ニーズに応じて、なぜ適切でないかを浮き彫りにすること。
• 政府の規制や法的枠組みの進化が、バイアス研究およびAIの公平性に与える影響を検討すること。
• コミュニティ参加型のアプローチとデータ主権モデルを提唱し、AI開発における公平な参加と利益還元を保証すること。
• 事後的なバイアス除去から、モデル開発段階から公平性を組み込む予防的で包摂的な設計への移行を提言すること。

提案手法

• バイアス緩和技術を、バイアスメトリクス、ベンチマークデータセット、緩和戦略の3つの柱に体系的に分類する。
• 代表的公平性、グループ公平性、ステレオタイプバイアスといったメトリクスを通じて、現在のバイアス検出手法を分析し、文化的な文脈を超えた限界を強調する。
• 代表的正確性の向上を目的に、差別的でないコミュニティと共同で作成された、HolisticBias や WinoQueer といったベンチマークデータセットを評価する。
• LLMを用いたステレオタイプ生成とコミュニティ参加を組み合わせたハイブリッドアプローチを提唱し、バイアス検出におけるカバー範囲拡大と盲点の低減を図る。
• 主観的な人間のアノテーションに依存しない自動的で多視点のバイアス測定の重要性を強調する。
• 特に社会的文脈が変化する動的な状況において、導入後のバイアスの発生を検出するため、リアルタイム監視システムと定期的なモデル監査の統合を推奨する。

Figure 1 . Outline of this research paper. A synthesis of current research trends and limitations for each component is presented. We also analyse the impact on under-represented societies. Ongoing changes to regulations and legislation and the direct/indirect implications towards tackling bias rese

実験結果

リサーチクエスチョン

• RQ1 事前学習された言語モデルにおける現在のバイアス検出および緩和技術は、なぜ代表的でない社会および先住民族コミュニティのニーズに対し不十分なのか？
• RQ2 既存のバイアス緩和手法が差別を受けやすいコミュニティにまで適用可能でない、主な文化的・社会的・言語的課題は何か？
• RQ3 コミュニティが主導するデータガバナンスモデルは、LLMにおける公平性と表現の質をどのように向上させ得るか？
• RQ4 GPT-4 や Llama 2 といった最近の大規模言語モデルは、バイアスを本質的に低減できる程度はどれほどか。また、誤用された場合に生じるリスクは何か？
• RQ5 進化を続ける政府の規制や法的枠組みは、多様な社会における公平なAIシステムの開発と導入に、どのように影響を及えるか？

主な発見

• 現在のバイアス緩和技術は、主に米国のようなリソースに恵まれた国や、二元的性別分類に焦点を当てており、交差的で文化的に特異なバイアスを無視している。
• 代表的でないコミュニティと共同で作成されたベンチマークデータセット（例：HolisticBias や WinoQueer）は、従来の手法では検出できなかったステレオタイプを特定した。これは、コミュニティ参加の価値を示している。
• LLMによるステレオタイプ生成とコミュニティによる検証を組み合わせたハイブリッドアプローチにより、ステレオタイプのカバー範囲が拡大され、単独で用いた手法では見逃された特異なバイアスが明らかになった。
• バイアスアノテーションにおける人間の判断に依存することは、主観性と個人的バイアスのリスクを生じさせる。これにより、自動的で多視点の評価フレームワークの必要性が強調される。
• GPT-4 や最近のモデルは、以前のバージョンと比較して多くのステレオタイプ的トピックでバイアスが低減しているが、正確な指示従いの能力が高いため、悪意ある操作のリスクも増加している。
• 世界中で継続的に変化する規制環境に対応するには、市民社会、政策立案者、影響を受けるコミュニティが参加する包括的ガバナンスが不可欠であり、持続可能なAIの公平性を実現するための鍵である。

Figure 2 . Overview of Bias benchmark datasets is presented, where dataset references are as per Table 2 . Bias target groups and issues, and data source, style, annotation details and language availability are included. Datasets which are open-sourced (see Appendix B Table 11 ), and which introduce