[论文解读] Bias Out-of-the-Box: An Empirical Analysis of Intersectional Occupational Biases in Popular Generative Language Models

Hannah Rose Kirk, Yennie Jun+6 more|arXiv (Cornell University)|Feb 8, 2021

Computational and Text Analysis Methods被引用 53

一句话总结

本文分析开箱即用的 GPT-2 在职业联结方面的偏见，涉及性别与宗教、性取向、种族、政治立场以及大陆名称起源等交叉因素，并将预测与美国劳动力市场数据进行比较。

ABSTRACT

The capabilities of natural language models trained on large-scale data have increased immensely over the past few years. Open source libraries such as HuggingFace have made these models easily available and accessible. While prior research has identified biases in large language models, this paper considers biases contained in the most popular versions of these models when applied `out-of-the-box' for downstream tasks. We focus on generative language models as they are well-suited for extracting biases inherited from training data. Specifically, we conduct an in-depth analysis of GPT-2, which is the most downloaded text generation model on HuggingFace, with over half a million downloads per month. We assess biases related to occupational associations for different protected categories by intersecting gender with religion, sexuality, ethnicity, political affiliation, and continental name origin. Using a template-based data collection pipeline, we collect 396K sentence completions made by GPT-2 and find: (i) The machine-predicted jobs are less diverse and more stereotypical for women than for men, especially for intersections; (ii) Intersectional interactions are highly relevant for occupational associations, which we quantify by fitting 262 logistic models; (iii) For most occupations, GPT-2 reflects the skewed gender and ethnicity distribution found in US Labor Bureau data, and even pulls the societally-skewed distribution towards gender parity in cases where its predictions deviate from real labor market observations. This raises the normative question of what language models should learn - whether they should reflect or correct for existing inequalities.

研究动机与目标

• 激发对开箱即用的流行开源语言模型偏见的研究。
• 制定一个协议，在 GPT-2 中测量跨越多种受保护属性的交叉性职业偏见。
• 通过统计建模量化交叉性如何影响职业预测。
• 将 GPT-2 的职业分布预测与真实的美国劳动力市场数据进行比较，以评估一致性或偏离。

提出的方法

• 使用基于模板的数据收集管道提取包含职业提及的 396K GPT-2 句子完成。
• 应用基于身份和基于名字的前缀提示来引出与受保护属性相关的职业联想。
• 使用 Stanford CoreNLP NER 提取职业并构建用于分析的一热编码（one-hot）令牌频率矩阵。
• 拟合包含交互项的 262 个逻辑回归模型，以量化交叉性对职业预测的影响。
• 将 GPT-2 预测分布与 2019 年美国劳工统计局的职业数据进行比较，并校正人口统计分布。

实验结果

研究问题

• RQ1 开箱即用的 GPT-2 输出是否体现性别及交叉性职业偏见？
• RQ2 性别与种族、宗教、性取向、政治立场以及大陆名称起源的交叉如何影响预测的职业？
• RQ3 GPT-2 的预测在性别和种族/族裔方面与现实世界的美国职业分布在多大程度上一致？
• RQ4 交叉性交互在改变 GPT-2 的职业预测方面是否显著，超出主效应？
• RQ5 模型预测是否指示职业联想中的表征性或配置性伤害？

主要发现

• GPT-2 为女性返回的职业集合比男性更单一化、更具刻板印象，且女性的职业聚集性更高。
• 交叉性交互（例如性别与种族、宗教、性取向等）显著影响职业预测，许多模型显示出显著的交互项。
• 在大多数职业上，GPT-2 的预测反映了美国劳动数据的偏斜，在某些情况下趋向性别平等，可能纠正现实中的极端偏斜。
• 逻辑回归显示女性虚拟变量在许多模型中增加了可解释的变异（平均 ΔR^2 ≈ +3.3%），且许多交互项显著（约三分之一的回归）。
• 与美国数据的比较呈现强正相关（基线性别的 Kendall Tau ≈ 0.63）且均方误差较低，尽管 GPT-2 在女性主导职业中常高估女性，在高度女性偏斜的职业中则低估。
• 与美国数据相比，GPT-2 往往高估女性的前五大职业（如 waitress、nurse），同时在种族方面仍反映了一些真实世界分布。