[论文解读] Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias

Chen, Yuen, Raghuram, Vethavikashini Chithrra+3 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用 9

一句话总结

本文提出了一套稳健的框架，用于衡量并减轻大型语言模型中的性别偏见，重点关注 GPT-3 中的职业刻板印象。通过使用受控的因果提示技术，证明了特定提示可在无需微调的情况下显著减少刻板印象关联，同时保持自然文本生成能力，并实现超越二元性别的包容性性别表征。

ABSTRACT

Generated texts from large language models (LLMs) have been shown to exhibit a variety of harmful, human-like biases against various demographics. These findings motivate research efforts aiming to understand and measure such effects. This paper introduces a causal formulation for bias measurement in generative language models. Based on this theoretical foundation, we outline a list of desiderata for designing robust bias benchmarks. We then propose a benchmark called OccuGender, with a bias-measuring procedure to investigate occupational gender bias. We test several state-of-the-art open-source LLMs on OccuGender, including Llama, Mistral, and their instruction-tuned versions. The results show that these models exhibit substantial occupational gender bias. Lastly, we discuss prompting strategies for bias mitigation and an extension of our causal formulation to illustrate the generalizability of our framework. Our code and data https://github.com/chenyuen0103/gender-bias.

研究动机与目标

• 解决现有衡量语言模型性别偏见基准中实验噪声过高和度量不可靠的问题。
• 开发一种稳健的因果评估框架，将刻板印象关联与提示措辞和模型变异等混淆因素分离。
• 探究提示技术是否可在不进行微调的情况下减少 GPT-3 中的职业性别偏见。
• 评估去偏效果在不同生成类型（包括开放式和对话式设置）中的泛化能力和持久性。
• 评估去偏提示是否在模型生成中引入了意外的副作用，例如过度聚焦于性别话题。

提出的方法

• 提出一种基于因果关系的上下文提示框架，通过控制提示中的混淆变量，隔离人口统计关联。
• 使用一组结构标准化的提示，控制其句法和语义结构，以衡量模型对刻板印象与反刻板印象职业-性别配对的概率。
• 采用掩码概率估计方法量化偏见，最大限度减少外部评估工具带来的噪声。
• 应用一系列提示策略——从明确指令到抽象概念框架——以评估其去偏有效性。
• 在不同模型版本（如 Davinci、Curie）和生成模式（开放式、对话式）中系统开展消融研究，以评估框架的鲁棒性。
• 通过人工评估生成文本验证结果，以检测去偏提示可能带来的意外副作用。

实验结果

研究问题

• RQ1 现有用于衡量语言模型性别偏见的基准在多大程度上存在测量噪声和不可靠的度量？
• RQ2 因果性、受控的提示框架是否能提供更稳健、更可靠的 LLM 职业性别偏见衡量方法？
• RQ3 哪些类型的提示策略最有效地减少 GPT-3 对性别与职业之间刻板印象的关联？
• RQ4 去偏效果是否在不同生成模式（如开放式文本生成和多轮对话）中持续存在？
• RQ5 去偏提示是否会引发意外副作用，例如增加模型输出中对性别的关注？

主要发现

• 与先前基准相比，所提出的框架显著降低了测量噪声，实现了对语言模型中刻板印象关联更可靠的量化。
• 特定提示——尤其是采用抽象或概念性框架的提示——可有效减少 GPT-3 的职业性别偏见，部分提示甚至实现了跨性别的近似相等关联率。
• 在对话设置中，去偏效果并未一致保留，模型在对话轮次中往往趋于恢复到偏见关联。
• 提高女性在男性主导职业中代表性提示有效，但没有任何提示显著提升男性在女性主导职业中的代表性，表明去偏缓解存在不对称性。
• 去偏提示不会改变开放式生成的内容，人工评估显示话题焦点或性别显著性无明显变化。
• 该框架实现了将非二元及非传统性别身份纳入职业关联，展示了更广泛的包容性潜力。