[論文レビュー] Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias

Chen, Yuen, Raghuram, Vethavikashini Chithrra+3 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用数 9

ひとこと要約

本論文は、GPT-3における職業的ステレオタイプに注目し、大規模言語モデルにおける性別バイアスを測定および軽減するためのロバストなフレームワークを提案する。制御された因果的プロンプト技術を用いることで、ファインチューニングを伴わずに特定のプロンプトがステレオタイプ的関連性を顕著に低減できることを示している。また、自然なテキスト生成を維持するとともに、二元的カテゴリーを越えた包括的な性別表現を可能にしている。

ABSTRACT

Generated texts from large language models (LLMs) have been shown to exhibit a variety of harmful, human-like biases against various demographics. These findings motivate research efforts aiming to understand and measure such effects. This paper introduces a causal formulation for bias measurement in generative language models. Based on this theoretical foundation, we outline a list of desiderata for designing robust bias benchmarks. We then propose a benchmark called OccuGender, with a bias-measuring procedure to investigate occupational gender bias. We test several state-of-the-art open-source LLMs on OccuGender, including Llama, Mistral, and their instruction-tuned versions. The results show that these models exhibit substantial occupational gender bias. Lastly, we discuss prompting strategies for bias mitigation and an extension of our causal formulation to illustrate the generalizability of our framework. Our code and data https://github.com/chenyuen0103/gender-bias.

研究の動機と目的

• 言語モデルにおける性別バイアスを測定する既存のベンチマークが、高い実験的ノイズと信頼性の低い指標を抱える問題に対処すること。
• プロンプトの表現方法やモデルのばらつきといった交絡要因を分離し、ステレオタイプ的関連性を隔離するロバストで因果的な評価フレームワークを構築すること。
• ファインチューニングを伴わずに、プロンプト技術がGPT-3における職業的性別バイアスを低減できるかどうかを調査すること。
• オープンエンドおよび対話型の設定を含む、さまざまな生成タイプにおけるデバイアス化効果の一般化と持続性を評価すること。
• デバイアス化プロンプトが、モデル出力における性別トピックへの過剰な注目といった、予期しない副作用を引き起こすかどうかを評価すること。

提案手法

• 交絡要因を制御することで、デモグラフィック関連性を隔離する因果的で文脈依存のプロンプトフレームワークを提案する。
• スティレオタイプ的関連性とアンチステレオタイプ的関連性の両方の職業-性別ペアに対するモデルの確率を測定するため、構文的・意味的構造が制御された一貫したプロンプトセットを用いる。
• バイアスを定量化するためにマスクド確率推定法を採用し、外部評価ツールに起因するノイズを最小限に抑える。
• 明示的な指示から抽象的・概念的フレーミングに至るまで、さまざまなプロンプト戦略を適用し、そのデバイアス化効果を評価する。
• モデルバージョン（例：Davinci, Curie）や生成モード（オープンエンド、対話型）を変化させた系統的なアブレーションスタディを実施し、フレームワークのロバストネスを評価する。
• 手動による生成テキストの評価を通じて、デバイアス化プロンプトが引き起こす予期しない副作用を検出する。

実験結果

リサーチクエスチョン

• RQ1 既存の言語モデルにおける性別バイアスを測定するベンチマークは、どの程度測定ノイズや信頼性の低い指標に苦しんでいるか？
• RQ2 因果的で制御されたプロンプトフレームワークは、LLMにおける職業的性別バイアスをよりロバストかつ信頼性高く測定できるか？
• RQ3 どの種類のプロンプト戦略が、GPT-3の性別と職業のステレオタイプ的関連性を最も効果的に低減できるか？
• RQ4 デバイアス化効果は、オープンエンドテキスト生成やマルチターン対話といった異なる生成モードにおいても持続するか？
• RQ5 デバイアス化プロンプトは、モデル出力における性別への注目度の増加といった、予期しない副作用を引き起こすか？

主な発見

• 提案されたフレームワークは、従来のベンチマークと比較して測定ノイズを顕著に低減し、言語モデルにおけるステレオタイプ的関連性のより信頼性の高い定量化を可能にした。
• 特に抽象的・概念的フレーミングを用いたプロンプトは、GPT-3の職業的性別バイアスを低減でき、一部のケースでは性別間の関連性確率がほぼ同等に近づいた。
• 対話設定ではデバイアス化効果が一貫して保持されず、会話の進行に従ってモデルが再びバイアス的関連性に戻る傾向が見られた。
• 男性優勢の職業における女性の代表を高めるプロンプトは効果的であるが、女性優勢の職業における男性の代表を高めるプロンプトは効果がなく、バイアス低減に非対称性が存在することが示された。
• 手動評価により、デバイアス化プロンプトがオープンエンド生成の内容を変化させないことが確認され、トピックの焦点や性別の顕在性に顕著なシフトは検出されなかった。
• このフレームワークにより、非バイナリーや非伝統的性別アイデンティティの職業的関連性の統合が可能となり、より包括的な可能性を示した。