[论文解读] Algorithmic decision making and the cost of fairness

Sam Corbett‐Davies, Emma Pierson+3 more|arXiv (Cornell University)|Jan 28, 2017

Ethics and Social Impacts of AI参考文献 26被引用 27

一句话总结

本文将算法公平性重新表述为一个约束优化问题，旨在在满足减少预审释放决定中种族差异的公平性标准的同时最大化公共安全。研究发现，要求使用种族特定阈值的公平性定义与最优无约束规则（即使用单一统一阈值）相冲突，后者可最大化公共安全并符合宪法平等原则，揭示了在使用布劳尔德县数据时，公平性与安全之间存在显著权衡。

ABSTRACT

Algorithms are now regularly used to decide whether defendants awaiting trial are too dangerous to be released back into the community. In some cases, black defendants are substantially more likely than white defendants to be incorrectly classified as high risk. To mitigate such disparities, several techniques recently have been proposed to achieve algorithmic fairness. Here we reformulate algorithmic fairness as constrained optimization: the objective is to maximize public safety while satisfying formal fairness constraints designed to reduce racial disparities. We show that for several past definitions of fairness, the optimal algorithms that result require detaining defendants above race-specific risk thresholds. We further show that the optimal unconstrained algorithm requires applying a single, uniform threshold to all defendants. The unconstrained algorithm thus maximizes public safety while also satisfying one important understanding of equality: that all individuals are held to the same standard, irrespective of race. Because the optimal constrained and unconstrained algorithms generally differ, there is tension between improving public safety and satisfying prevailing notions of algorithmic fairness. By examining data from Broward County, Florida, we show that this trade-off can be large in practice. We focus on algorithms for pretrial release decisions, but the principles we discuss apply to other domains, and also to human decision makers carrying out structured decision rules.

研究动机与目标

• 考察在预审释放的算法决策中，最大化公共安全与满足形式公平性约束之间的权衡。
• 分析不同公平性定义（尤其是要求使用种族特定阈值的定义）对公共安全结果的影响。
• 证明最优无约束算法使用单一统一风险阈值，该规则可最大化公共安全并满足平等的核心原则。
• 使用佛罗里达州布劳尔德县的真实数据评估这一权衡的实际影响。
• 阐明竞争性公平性定义对高风险决策系统中政策制定与算法设计的影响。

提出的方法

• 将算法公平性表述为约束优化问题：在满足公平性约束的前提下最大化公共安全。
• 将决策规则定义为将个体风险评分映射到羁押概率的概率函数。
• 应用多种公平性标准（例如相等假阳性率、相等假发现率），并推导每种标准下的最优算法。
• 推导出最优无约束算法为所有种族群体使用单一统一阈值。
• 使用佛罗里达州布劳尔德县的实证数据，估计各群体的风险评分与再犯率。
• 从公共安全和种族差异的角度，比较约束算法与无约束算法的性能。

实验结果

研究问题

• RQ1 在算法化预审风险评估中强制实施形式公平性约束是否会降低公共安全？
• RQ2 在满足公平性约束的前提下，最大化公共安全的最优算法是什么？
• RQ3 与种族特定阈值相比，单一统一阈值规则在公平性与安全性方面表现如何？
• RQ4 现有公平性定义在多大程度上与宪法平等对待原则相冲突？
• RQ5 能否在现实刑事司法数据中量化公平性与公共安全之间的权衡？

主要发现

• 最优无约束算法对所有被告使用单一统一风险阈值，可最大化公共安全，并满足无论种族如何均等对待的原则。
• 过去一些公平性定义要求使用种族特定阈值——例如，仅当黑人被告的风险评分超过6时才予以羁押，而白人被告在4分的较低阈值下即被羁押——这会降低公共安全。
• 为满足公平性标准而应用种族特定阈值，会导致公共安全显著下降，如布劳尔德县数据的实证分析所示。
• 最优约束算法与最优无约束算法存在差异，揭示了公平性与公共安全之间存在根本性权衡。
• 尽管算法不将种族作为输入，但由于各群体再犯基础率的差异，风险分类中的种族差异仍持续存在。
• 单一阈值规则与美国宪法第十四修正案的平等保护条款一致，因其对所有个体一视同仁，无论种族。