[论文解读] Mitigating Bias in Algorithmic Hiring: Evaluating Claims and Practices

Manish Raghavan, Solon Barocas+2 more|arXiv (Cornell University)|Jun 21, 2019

Ethics and Social Impacts of AI参考文献 45被引用 140

一句话总结

本论文分析了18家算法驱动的入职前评估供应商，记录它们的开发/验证实践、偏见主张与法律考量，以评估这些工具在公平性方面的表现。

ABSTRACT

There has been rapidly growing interest in the use of algorithms in hiring, especially as a means to address or mitigate bias. Yet, to date, little is known about how these methods are used in practice. How are algorithmic assessments built, validated, and examined for bias? In this work, we document and analyze the claims and practices of companies offering algorithms for employment assessment. In particular, we identify vendors of algorithmic pre-employment assessments (i.e., algorithms to screen candidates), document what they have disclosed about their development and validation procedures, and evaluate their practices, focusing particularly on efforts to detect and mitigate bias. Our analysis considers both technical and legal perspectives. Technically, we consider the various choices vendors make regarding data collection and prediction targets, and explore the risks and trade-offs that these choices pose. We also discuss how algorithmic de-biasing techniques interface with, and create challenges for, antidiscrimination law.

研究动机与目标

• 考察供应商如何开发、验证并披露算法性入职前评估的实践。
• 记录供应商公开的数据使用、目标变量、验证和偏见缓解方面的信息。
• 评估供应商实践与反歧视法及行业标准的一致性。
• 识别行业规范在偏见、验证和合法性方面的差距与张力。

提出的方法

• 通过 Crunchbase、Upturn 和 RedThread Research 系统性识别提供算法性入职前评估的供应商。
• 从供应商网站提取公开披露的关于评估类型、目标变量、训练数据、验证和公平性主张的信息。
• 沿机器学习管线对实践进行分类，以分析数据选择、验证程序和偏见缓解。
• 将供应商主张与法律框架（如 Title VII、Uniform Guidelines on Employment Selection Procedures，以及 4/5 rule）进行比较。
• 综合了围绕数据来源、目标结果和替代评估形式（如游戏、视频）的技术挑战。

实验结果

研究问题

• RQ1 供应商提供哪些类型的入职前评估？
• RQ2 供应商如何为这些评估选择目标变量和训练数据？
• RQ3 供应商披露了哪些验证程序，以及它们如何为客户定制？
• RQ4 供应商有哪些偏见/公平性主张，以及用于缓解偏见的方法？
• RQ5 法律标准如何影响供应商的做法及对不利影响的评估？

主要发现

• 识别并分析了18家提供算法性入职前评估的供应商。
• 评估类型包括问题、视频面试和游戏，许多供应商提供可定制的数据使用和目标。
• 验证信息常常不清晰或有限，尽管有些供应商发布了验证研究或人口统计审计；其他则提供细节很少。
• 多数供应商提及偏见或不利影响，并提到遵守4/5规则；去偏见方法在具体性上差异较大。
• 出现两种广义的公平性策略：天然无偏的设计，旨在实现等分数分布；以及主动去偏，将与受保护属性相关的特征进行降权/移除。
• 行业做法呈现异质性和不断演变的规范，关于模型有效性和数据来源的公开透明度有限。