[论文解读] Are Emily and Greg Still More Employable than Lakisha and Jamal? Investigating Algorithmic Hiring Bias in the Era of ChatGPT

Akshaj Kumar Veldanda, Fabian Grob+5 more|arXiv (Cornell University)|Oct 8, 2023

Artificial Intelligence in Healthcare and Education被引用 5

一句话总结

本研究评估了前沿大语言模型（GPT-3.5、Bard 和 Claude）在算法招聘任务中的偏见，基于对 Bertrand & Mullainathan（2003）研究的复现田野实验。研究发现，对种族和性别的偏见极低，但对怀孕状态和政治倾向存在显著偏见，尤其在完整简历分类任务中，而大语言模型生成的摘要版本则表现出较低的偏见。

ABSTRACT

Large Language Models (LLMs) such as GPT-3.5, Bard, and Claude exhibit applicability across numerous tasks. One domain of interest is their use in algorithmic hiring, specifically in matching resumes with job categories. Yet, this introduces issues of bias on protected attributes like gender, race and maternity status. The seminal work of Bertrand & Mullainathan (2003) set the gold-standard for identifying hiring bias via field experiments where the response rate for identical resumes that differ only in protected attributes, e.g., racially suggestive names such as Emily or Lakisha, is compared. We replicate this experiment on state-of-art LLMs (GPT-3.5, Bard, Claude and Llama) to evaluate bias (or lack thereof) on gender, race, maternity status, pregnancy status, and political affiliation. We evaluate LLMs on two tasks: (1) matching resumes to job categories; and (2) summarizing resumes with employment relevant information. Overall, LLMs are robust across race and gender. They differ in their performance on pregnancy status and political affiliation. We use contrastive input decoding on open-source LLMs to uncover potential sources of bias.

研究动机与目标

• 调查现代大语言模型是否在算法招聘中对种族、性别、怀孕状态和政治倾向等受保护属性产生招聘偏见。
• 将 Bertrand & Mullainathan（2003）的开创性田野实验方法扩展至基于大语言模型的招聘系统，以实证评估偏见。
• 比较完整简历分类与简历摘要任务中的偏见水平，评估摘要是否能降低偏见。
• 分析大语言模型生成摘要中敏感属性的保留情况，并利用对比解码法识别偏见的潜在来源。
• 为审计招聘系统中的大语言模型提供方法论框架，支持监管合规与人工智能驱动人力资源工具的公平性。

提出的方法

• 构建了一个包含 334 份匿名简历的简历语料库，涵盖三种职业类别（IT、教师、建筑），其性别代表性在劳动力统计数据中具有显著差异。
• 为简历标注敏感属性（姓名、性别、种族、怀孕状态、政治倾向），生成“标记版”简历，同时保留职业类别的真实标签。
• 应用两种大语言模型任务：(1) 使用分类提示进行简历到职业类别的分类；(2) 使用摘要提示进行简历摘要生成。
• 在开源大语言模型上使用对比输入解码法，通过分析模型对敏感属性标记的响应，探测偏见来源。
• 使用公平性指标（如相等机会差距）评估公平性，比较不同受保护属性群体的预测率差异。
• 对观察到的偏见差异进行显著性检验，预先指定实验设置以避免 p 值操纵。

实验结果

研究问题

• RQ1 当大语言模型将简历分类至职业类别时，是否在种族、性别、怀孕状态和政治倾向等受保护属性上表现出招聘偏见？
• RQ2 在完整文本简历与大语言模型生成的摘要之间，大语言模型在简历分类中的偏见有何差异？
• RQ3 怀孕状态或政治倾向等敏感属性在大语言模型生成的简历摘要中保留程度如何？
• RQ4 GPT-3.5、Bard 和 Claude 等大语言模型在偏见行为上是否存在可检测的差异？
• RQ5 对比解码能否揭示大语言模型在简历处理过程中输出偏见的具体语言或结构来源？

主要发现

• 在完整简历分类和摘要任务中，大语言模型对种族和性别的偏见极低，且无统计显著性差异。
• 当简历包含怀孕状态或政治倾向标记时，Claude 在相等机会差距方面表现出统计显著性差异（p < 0.05）。
• GPT-3.5 在怀孕和政治倾向方面也表现出可测量的偏见，尽管程度低于 Claude。
• 当存在敏感属性标记（如怀孕、政治倾向）时，Bard 无法生成摘要，表明可能存在过度清理或安全强化机制。
• 高达 94% 的大语言模型生成的简历摘要中保留了敏感属性标记，表明受保护信息存在高度泄露。
• 在完整简历分类中的偏见始终高于对大语言模型生成摘要的分类，表明摘要处理可能降低偏见暴露。