[论文解读] A statistical framework for fair predictive algorithms

Kristian Lum, James E. Johndrow|arXiv (Cornell University)|Oct 25, 2016

Adversarial Robustness in Machine Learning参考文献 7被引用 57

一句话总结

本文提出了一种统计框架，通过变换协变量以实现与受保护变量（如种族）的独立性，从而实现公平的预测算法，方法基于条件建模。通过使用链式条件模型——基于累积分布函数进行变换——确保预测结果与受保护属性无关，同时保持预测准确性，如在种族群体之间近乎相同的再犯预测分布所示，AUC仅略有下降（0.72 vs. 0.71）。

ABSTRACT

Predictive modeling is increasingly being employed to assist human decision-makers. One purported advantage of replacing human judgment with computer models in high stakes settings-- such as sentencing, hiring, policing, college admissions, and parole decisions-- is the perceived "neutrality" of computers. It is argued that because computer models do not hold personal prejudice, the predictions they produce will be equally free from prejudice. There is growing recognition that employing algorithms does not remove the potential for bias, and can even amplify it, since training data were inevitably generated by a process that is itself biased. In this paper, we provide a probabilistic definition of algorithmic bias. We propose a method to remove bias from predictive models by removing all information regarding protected variables from the permitted training data. Unlike previous work in this area, our framework is general enough to accommodate arbitrary data types, e.g. binary, continuous, etc. Motivated by models currently in use in the criminal justice system that inform decisions on pre-trial release and paroling, we apply our proposed method to a dataset on the criminal histories of individuals at the time of sentencing to produce "race-neutral" predictions of re-arrest. In the process, we demonstrate that the most common approach to creating "race-neutral" models-- omitting race as a covariate-- still results in racially disparate predictions. We then demonstrate that the application of our proposed method to these data removes racial disparities from predictions with minimal impact on predictive accuracy.

研究动机与目标

• 解决在受偏见数据上训练的机器学习模型中不公平预测的问题，特别是当受保护属性（如种族）与结果相关时。
• 开发一种通用且灵活的方法，从协变量中去除关于受保护变量的信息，而无需完全排除这些变量。
• 通过强制预测结果与受保护变量之间的统计独立性来确保公平性，即使协变量为连续型、离散型或混合类型。
• 通过最小化调整过程中的信息损失，保持高预测性能。
• 提供一种基于似然的统计原理方法，支持复杂建模技术，如分层模型和非参数回归。

提出的方法

• 该方法使用变换 $ g(x,z) = \widetilde{F}^{-1}(F_{x|z}(x)) $，其中 $ F_{x|z} $ 是给定 $ z $ 时 $ x $ 的条件累积分布函数，以使 $ \widetilde{x} $ 与 $ z $ 独立。
• 对于每个协变量 $ x_j $，使用适当的回归技术建模条件分布 $ F_{x_j|\widetilde{z}^{(j)}} $ —— 连续变量使用线性模型，二值变量使用逻辑回归，计数变量使用零膨胀泊松或负二项分布模型。
• 依次应用多变量变换，使得每个 $ \widetilde{x}_j $ 依赖于 $ z $ 和先前已变换的变量 $ \widetilde{x}_{1:j-1} $，从而确保与 $ z $ 的联合独立性。
• 对于离散变量，在相邻累积概率定义的区间内抽取均匀随机变量，并使用逆经验累积分布函数生成 $ \widetilde{x}_j $，以保持公平性。
• 为处理随机变换带来的不确定性，生成多个插补数据集（$ M $），并对这些数据集的预测结果取平均，以提高鲁棒性并实现不确定性估计。
• 通过在变换后的 $ F_{x|z}(x|z) $ 值上进行柯尔莫哥洛夫-斯米尔诺夫检验来验证模型拟合度，以检验其均匀性，从而表明独立性已成功实现。

实验结果

研究问题

• RQ1 能否开发一种统计框架，在保持预测准确性的同时，从预测模型中去除关于受保护变量的信息？
• RQ2 如何正式定义并强制实现预测结果与受保护属性之间的统计独立性？
• RQ3 哪些建模技术在调整混合类型协变量（连续型、二值型、计数型）以实现公平性方面是有效的？
• RQ4 所提出的方法在多大程度上减少了再犯预测中的种族差异，同时不显著降低模型性能？
• RQ5 如何在下游预测中正确量化并传播变换过程中的不确定性？

主要发现

• 所提出的方法在再犯数据集中成功实现了预测结果与种族之间的近乎完美独立性，柯尔莫哥洛夫-斯米尔诺夫检验在除一个变量外的所有变量上均未能拒绝均匀性的原假设，证实了结果。
• 调整后，不同种族群体的再犯概率预测经验分布几乎完全相同，消除了未调整模型中观察到的显著差异。
• 调整后模型的受试者工作特征曲线下面积（AUC）为 0.72，仅略高于未调整模型的 AUC（0.71），表明预测性能损失极小。
• 调整后模型的 AUC 与商业部署的风险评估工具（AUC 为 0.70）相当，甚至略优，表明其具有出色的实用性能。
• 即使种族与结果相关，该方法仍能有效消除种族偏见，表明无需从模型中完全排除受保护变量即可实现公平性。
• 通过使用多个插补数据集来处理变换过程中的随机性，实现了稳定且鲁棒的预测，并具备恰当的不确定性量化。