[论文解读] An algorithm for removing sensitive information: application to race-independent recidivism prediction

James E. Johndrow, Kristian Lum|arXiv (Cornell University)|Mar 15, 2017

Criminal Justice and Corrections Analysis被引用 6

一句话总结

本文提出了一种通用的概率框架，通过转换数据以确保预测结果与受保护变量（如种族）在统计上独立，从而从预测模型中去除敏感信息。在犯罪再犯预测中的应用表明，该方法在预测准确性损失最小的情况下实现了种族中立的结果，优于简单地将种族作为特征排除的方法。

ABSTRACT

Predictive modeling is increasingly being employed to assist human decision-makers. One purported advantage of replacing or augmenting human judgment with computer models in high stakes settings-- such as sentencing, hiring, policing, college admissions, and parole decisions-- is the perceived "neutrality" of computers. It is argued that because computer models do not hold personal prejudice, the predictions they produce will be equally free from prejudice. There is growing recognition that employing algorithms does not remove the potential for bias, and can even amplify it if the training data were generated by a process that is itself biased. In this paper, we provide a probabilistic notion of algorithmic bias. We propose a method to eliminate bias from predictive models by removing all information regarding protected variables from the data to which the models will ultimately be trained. Unlike previous work in this area, our framework is general enough to accommodate data on any measurement scale. Motivated by models currently in use in the criminal justice system that inform decisions on pre-trial release and parole, we apply our proposed method to a dataset on the criminal histories of individuals at the time of sentencing to produce "race-neutral" predictions of re-arrest. In the process, we demonstrate that a common approach to creating "race-neutral" models-- omitting race as a covariate-- still results in racially disparate predictions. We then demonstrate that the application of our proposed method to these data removes racial disparities from predictions with minimal impact on predictive accuracy.

研究动机与目标

• 解决在刑事司法等高风险决策中使用的预测模型中的算法偏见问题，因为历史数据可能包含系统性差异。
• 挑战一种普遍假设，即排除种族作为特征可确保公平性，证明与种族相关变量的关联仍会导致偏见预测。
• 开发一种可推广的方法，从数据中彻底消除关于受保护变量的所有信息，确保预测结果与这些变量无关。
• 在满足独立性准则的前提下，保持较高的预测性能（例如，AUC）。
• 提供一种数据转换方法，使多个组织能够在不重新训练或重新定义公平性标准的情况下实现公平的模型训练。

提出的方法

• 该方法使用概率数据转换，调整特征的联合分布，使得受保护变量（如种族）与结果及其他所有预测变量在统计上独立。
• 应用条件独立性约束：在转换后的特征条件下，预测结果必须与受保护变量无关。
• 通过重加权或重参数化数据分布实现转换，确保预测结构中不再保留任何关于受保护变量的信息。
• 该方法具有通用性，适用于任何测量尺度，包括连续型、分类型及混合类型数据。
• 通过在模型拟合前修改训练数据来实现，而非在学习过程中约束模型。
• 使用真实犯罪记录数据集（以种族为受保护变量，再犯为结果）对方法进行了验证。

实验结果

研究问题

• RQ1 在预测模型中排除种族作为特征是否真的能消除再犯预测中的种族差异？
• RQ2 通用的数据转换方法能否在保持预测准确性的同时，彻底消除关于受保护变量的所有信息？
• RQ3 是否可能在不损害模型性能的前提下，实现预测结果与受保护变量的统计独立？
• RQ4 与标准做法（如特征排除）相比，该方法在公平性和准确性方面表现如何？
• RQ5 该方法能否应用于连续型或多维受保护变量？与其他方法（如按类别选择前x名）相比，其局限性是什么？

主要发现

• 从预测模型中排除种族作为特征后，由于与其他变量的相关性，仍会导致种族差异化的预测结果，证实了遗漏变量偏差的存在。
• 所提出的数据显示转换方法成功实现了预测结果与种族之间的统计独立，满足了独立性公平性准则。
• 转换后，以AUC衡量的预测性能与当前使用的模型相当，表明对准确性的影响极小。
• 该方法确保无论下游模型是逻辑回归还是随机森林，预测结果均保持公平，因为公平性已嵌入数据中。
• 该方法对任何测量尺度的数据均具有鲁棒性，避免了基于离散化方法的缺陷，尤其是在涉及多个受保护变量时。
• 本研究表明，仅靠模型设计无法保证公平性；必须通过数据层面的干预来消除间接偏见。