[论文解读] Auditing the Use of Language Models to Guide Hiring Decisions

Johann D. Gaebler, Sharad Goel+2 more|arXiv (Cornell University)|Apr 3, 2024

Multi-Agent Systems and Negotiation被引用 4

一句话总结

本文提出使用对照实验（correspondence experiments）——一种常用于检测人类偏见的方法——来审计大型语言模型（LLMs）在招聘中的种族与性别偏见。通过系统性地在真实的K-12教师职位申请材料中变换姓名和代词，作者发现多个LLM中均存在对女性和少数族裔的中等程度优势，表明即使在去除显式标识符后，人口统计推断仍持续存在。

ABSTRACT

Regulatory efforts to protect against algorithmic bias have taken on increased urgency with rapid advances in large language models (LLMs), which are machine learning models that can achieve performance rivaling human experts on a wide array of tasks. A key theme of these initiatives is algorithmic "auditing," but current regulations -- as well as the scientific literature -- provide little guidance on how to conduct these assessments. Here we propose and investigate one approach for auditing algorithms: correspondence experiments, a widely applied tool for detecting bias in human judgements. In the employment context, correspondence experiments aim to measure the extent to which race and gender impact decisions by experimentally manipulating elements of submitted application materials that suggest an applicant's demographic traits, such as their listed name. We apply this method to audit candidate assessments produced by several state-of-the-art LLMs, using a novel corpus of applications to K-12 teaching positions in a large public school district. We find evidence of moderate race and gender disparities, a pattern largely robust to varying the types of application material input to the models, as well as the framing of the task to the LLMs. We conclude by discussing some important limitations of correspondence experiments for auditing algorithms.

研究动机与目标

• 调查大型语言模型（LLMs）在招聘评估中是否会产生种族与性别差异。
• 评估对照实验作为审计基于LLM的人力资源系统中算法偏见的工具的有效性。
• 检验观察到的差异在输入材料、模型指令和匿名化技术变化下的稳健性。
• 考察LLMs是否能从匿名化申请材料中推断出人口统计特征，从而破坏‘无知即公平’（fairness-through-ignorance）方法的有效性。
• 通过提供一种实用且基于实证的LLM审计方法，为监管和政策制定提供依据，尤其针对高风险的就业决策。

提出的方法

• 构建了一个新型语料库，包含某大型德克萨斯州公立学区K-12教师职位的真实申请材料，包括简历和视频面试回答。
• 使用最先进的开源及专有LLMs，基于申请材料生成招聘推荐。
• 通过系统性地变换申请人姓名和代词，模拟不同的种族与性别身份，实施对照实验。
• 通过改变模型指令、仅输入简历，以及将学区信息替换为以白人为主的学区，进行稳健性检验。
• 设置对照条件：从输入中移除姓名和代词，以测试‘无知即公平’方法的有效性。
• 分析模型输出在不同人口群体间的招聘推荐差异，重点关注评分差异。

实验结果

研究问题

• RQ1 最先进的LLMs在K-12教师职位的招聘推荐中是否表现出可测量的种族与性别差异？
• RQ2 这些差异在输入材料（如仅简历与完整档案）和模型指令变化下是否依然稳健？
• RQ3 LLMs在多大程度上能从匿名化申请材料中推断出人口统计属性，从而破坏‘无知即公平’方法？
• RQ4 当学区背景被替换为西弗吉尼亚州以白人为主的学区时，模型输出如何变化？
• RQ5 对照实验能否作为审计LLMs在就业场景中偏见的可靠方法？

主要发现

• 研究发现，LLM生成的招聘推荐中存在中等程度的种族与性别差异，女性和少数族裔获得的评分高于白人男性。
• 这些差异在不同模型指令、输入类型（如仅简历）以及学区背景变化下均保持稳健。
• 即使输入材料中的姓名和代词被移除，LLM仍产生差异化的评估，表明人口统计推断通过隐含线索发生。
• 模型能从匿名输入中推断出人口统计特征，表明‘无知即公平’不足以防止偏见。
• 当学区被替换为西弗吉尼亚州以白人为主的学区时，差异依然存在，表明该效应并非由本地人口结构驱动。
• 结果表明，对照实验能够有效检测LLM中的算法偏见，为监管审计提供实用工具。