[论文解读] Improving Fairness in Criminal Justice Algorithmic Risk Assessments Using Conformal Prediction Sets

Richard A. Berk, Arun Kumar Kuchibhotla|arXiv (Cornell University)|Aug 26, 2020

Ethics and Social Impacts of AI参考文献 32被引用 5

一句话总结

本文提出使用预测球体（conformal prediction sets）以提升刑事司法风险评估中的公平性，通过生成具有有效概率保证的个体层面预测，同时消除黑人与白人犯罪者之间的显著差异。该方法在包含30万起被传唤被告的数据库上，实现了算法输出与协变量层面的公平性，最终得到的混淆表中几乎不存在公平性差异。

ABSTRACT

Risk assessment algorithms have been correctly criticized for potential unfairness, and there is an active cottage industry trying to make repairs. In this paper, we adopt a framework from conformal prediction sets to remove unfairness from risk algorithms themselves and the covariates used for forecasting. From a sample of 300,000 offenders at their arraignments, we construct a confusion table and its derived measures of fairness that are effectively free any meaningful differences between Black and White offenders. We also produce fair forecasts for individual offenders coupled with valid probability guarantees that the forecasted outcome is the true outcome. We see our work as a demonstration of concept for application in a wide variety of criminal justice decisions. The procedures provided can be routinely implemented in jurisdictions with the usual criminal justice datasets used by administrators. The requisite procedures can be found in the scripting software R. However, whether stakeholders will accept our approach as a means to achieve risk assessment fairness is unknown. There also are legal issues that would need to be resolved although we offer a Pareto improvement.

研究动机与目标

• 为解决刑事司法风险评估算法中持续存在的不公平问题，特别是黑人与白人被告之间的种族差异。
• 开发一种方法，确保公平性不仅体现在算法预测结果中，也体现在用于预测的协变量中。
• 生成具有有效概率保证的个体层面风险预测，确保预测结果与真实结果匹配。
• 展示一种实用且可实施的框架，使用标准刑事司法数据集和基于R的脚本工具。
• 提供一种帕累托改进的公平性方案，可被司法管辖区采纳，而无需进行根本性的法律或制度性变革。

提出的方法

• 采用预测球体框架，生成在预设概率水平下包含真实结果的预测集合。
• 将预测球体方法同时应用于风险算法的输出和输入协变量，以确保预测过程中各阶段的公平性。
• 使用包含30万起被传唤被告的数据集，训练并评估所得预测集合的公平性。
• 从预测集合构建混淆表，以衡量公平性指标，并确认不同种族群体之间不存在显著差异。
• 验证预测集合保持统计有效性，即真实结果以名义概率水平包含在预测集合中。
• 使用R脚本实现整个流程，使该方法可在标准刑事司法数据环境中实现常规部署。

实验结果

研究问题

• RQ1 能否使用预测球体来消除黑人与白人被告在风险评估结果中的显著公平性差异？
• RQ2 如何在提升算法输出公平性的同时，也改善用于预测的协变量的公平性？
• RQ3 能否在保持不同种族群体间公平性的前提下，生成具有有效概率保证的个体层面风险预测？
• RQ4 该方法在多大程度上可基于标准刑事司法数据集和现有软件工具（如R）实现？
• RQ5 在采纳此增强公平性的方法时，可能面临哪些潜在的法律和利益相关方接受度挑战？

主要发现

• 所提出的方法成功生成了几乎不存在黑人与白人被告在公平性指标上显著差异的混淆表。
• 个体被告的预测结果具有有效的概率保证，确保真实结果以名义置信水平包含在预测集合中。
• 该框架在算法预测和用于预测的协变量层面均实现了公平性，从多个层面解决了公平性问题。
• 该流程可基于标准刑事司法数据集和基于R的脚本实现，使其实现在真实司法管辖区的常规部署。
• 该方法通过提升公平性而不损害统计有效性或预测性能，实现了帕累托改进。
• 尽管技术上可行，但利益相关方接受度和未解决的法律问题仍是其推广的主要障碍。