[论文解读] Fair prediction with disparate impact: A study of bias in recidivism prediction instruments

Alexandra Chouldechova|arXiv (Cornell University)|Oct 24, 2016

Regulation and Compliance Studies被引用 18

一句话总结

本文表明，即使在没有预测偏差的情况下，再犯预测工具（RPIs）仍可能因不同种族群体间再犯率的差异而产生差异性影响。研究显示，像COMPAS这样的校准良好的RPI仍可能导致非裔被告的假阳性率更高，从而在二元惩罚政策下导致不平等的监禁结果。

ABSTRACT

Recidivism prediction instruments provide decision makers with an assessment of the likelihood that a criminal defendant will reoffend at a future point in time. While such instruments are gaining increasing popularity across the country, their use is attracting tremendous controversy. Much of the controversy concerns potential discriminatory bias in the risk assessments that are produced. This paper discusses a fairness criterion originating in the field of educational and psychological testing that has recently been applied to assess the fairness of recidivism prediction instruments. We demonstrate how adherence to the criterion may lead to considerable disparate impact when recidivism prevalence differs across groups.

研究动机与目标

• 探讨心理测量测试中的公平性准则如何与再犯预测中的现实结果相互作用。
• 考察校准良好的RPI在何种条件下会导致不同种族群体间出现差异性影响。
• 阐明测试公平性、错误率与风险评估政策结果之间的统计关联。
• 评估在群体间平衡错误率是否足以防止在更细粒度子群体中的不公平结果。
• 反对因媒体报道的偏差问题而放弃数据驱动的风险评估，主张采用情境感知的公平性评估方法。

提出的方法

• 使用布劳尔德县COMPAS数据集，包含种族（非裔/白人）、判分等级和两年内再犯结果。
• 通过校准良好来定义测试公平性：对于所有分数值s，P(Y=1|S=s, R=r)在不同种族群体间相等。
• 引入粗化风险评分S_c，根据阈值s_HR将个体分类为高风险（HR）或低风险（LR）。
• 在公平性约束下分析不同种族群体的错误率（FPR、FNR）和阳性预测值（PPV）。
• 通过二元惩罚政策建模差异性影响，其中高风险个体将面临监禁（t_H=1），推导出监禁的期望概率为E[T] = P(T≠0)。
• 利用总变差距离d_TV(f_b,y, f_w,y)建立差异性影响Δ的上界，表明Δ ≤ (t_H - t_L) * d_TV。

实验结果

研究问题

• RQ1 群体特定的再犯流行率如何与校准良好的RPI相互作用，从而导致差异性影响？
• RQ2 在像COMPAS这样的校准良好RPI中，非裔与白人被告的假阳性率和假阴性率在多大程度上存在差异？
• RQ3 即使基于校准的公平性准则，是否仍可能在二元惩罚政策下导致不平等的对待结果？
• RQ4 在群体间平衡整体错误率是否足以确保在更细粒度子群体层级上的公平性？
• RQ5 统计效应量度量（如d_TV）与差异性影响的大小之间存在何种关系？

主要发现

• 尽管COMPAS RPI校准良好（即无预测偏差），但由于再犯流行率的差异，非裔被告的假阳性率（FPR_b ≈ 0.45）仍显著高于白人被告（FPR_w ≈ 0.25）。
• 假阳性率的差异导致在二元惩罚政策下，非再犯的非裔被告被监禁的可能性比白人被告高出1.8倍。
• 即使在低前科记录子群体中（如轻罪犯），非裔与白人被告之间仍存在显著的假阳性率差异。
• 非裔与白人被告评分分布之间的总变差距离（d_TV = 24.5%）为差异性影响的大小提供了紧致上界。
• COMPAS评分分布的Cohen's d为0.60，表明效应量中等，但评分的非正态性限制了传统重叠度量的有效性。
• 本研究表明，仅平衡整体错误率不足以消除在更细粒度子群体层级（如前科数量）中的差异。