[论文解读] Interventions over Predictions: Reframing the Ethical Debate for Actuarial Risk Assessment

Chelsea Barabas, Karthik Dinakar+3 more|arXiv (Cornell University)|Dec 21, 2017

Criminal Justice and Corrections Analysis参考文献 30被引用 42

一句话总结

该论文通过倡导使用因果推断而非预测建模，将刑事司法中的精算风险评估从预测重新定位为干预。它提出利用机器学习识别犯罪的社会、结构性和心理驱动因素，从而实现有针对性的风险缓解，而非存在偏见的风险评分，进而解决根植于历史数据中的系统性不公。

ABSTRACT

Actuarial risk assessments might be unduly perceived as a neutral way to counteract implicit bias and increase the fairness of decisions made at almost every juncture of the criminal justice system, from pretrial release to sentencing, parole and probation. In recent times these assessments have come under increased scrutiny, as critics claim that the statistical techniques underlying them might reproduce existing patterns of discrimination and historical biases that are reflected in the data. Much of this debate is centered around competing notions of fairness and predictive accuracy, resting on the contested use of variables that act as "proxies" for characteristics legally protected against discrimination, such as race and gender. We argue that a core ethical debate surrounding the use of regression in risk assessments is not simply one of bias or accuracy. Rather, it's one of purpose. If machine learning is operationalized merely in the service of predicting individual future crime, then it becomes difficult to break cycles of criminalization that are driven by the iatrogenic effects of the criminal justice system itself. We posit that machine learning should not be used for prediction, but rather to surface covariates that are fed into a causal model for understanding the social, structural and psychological drivers of crime. We propose an alternative application of machine learning and causal inference away from predicting risk scores to risk mitigation.

研究动机与目标

• 挑战在司法系统中使用机器学习预测个体犯罪风险的主导范式。
• 主张当前的风险评估通过将预测作为主要目标，而非理解根本原因，从而延续了历史偏见。
• 建议将关注点从预测准确性转向因果推断，以识别可行动的、结构性的犯罪驱动因素。
• 倡导使用数据驱动工具并非用于分配风险评分，而是用于指导有效、基于证据的干预措施。
• 通过强调透明度、反思性与以干预为导向的设计，解决专有且不透明的风险工具所存在的伦理缺陷。

提出的方法

• 将风险评估重新定义为诊断工具，运用因果推断识别可降低再犯率的干预措施。
• 不将机器学习用于预测结果，而是用于揭示可支持犯罪驱动因果模型的协变量。
• 使用观察性研究和准实验方法推断干预与再犯之间的因果关系，特别是在随机对照试验不可行的情况下。
• 将临床医学中的伦理框架（如机构审查委员会监督和分阶段评估）整合到刑事司法研究中。
• 强调反思性与定性方法（如民族志）以抵消数据解释过程中研究者的偏见。
• 建议以基于因果建模的社会、心理和结构性因素推导出的“干预就绪”洞察，取代预测性风险评分。

实验结果

研究问题

• RQ1 如何将机器学习从预测再犯重新定位为识别犯罪的因果驱动因素？
• RQ2 当风险评估在刑事司法中仅被视为预测工具时，会暴露出哪些伦理与结构性缺陷？
• RQ3 在评估刑事司法干预措施时，因果推断方法（包括观察性研究）在多大程度上可以替代或补充随机对照试验？
• RQ4 现有风险评估工具如何通过诸如种族和性别等代理变量再现系统性偏见？
• RQ5 跨学科方法——尤其是定性研究与临床伦理学——在设计更公平的数据驱动司法工具中扮演何种角色？

主要发现

• 当前的风险评估往往因将预测作为主要目标，即使种族等变量作为受保护特征的代理，也会重复历史偏见。
• 在刑事司法中使用机器学习进行预测可能造成医源性伤害，强化刑事化的循环，而非促进干预。
• 因果推断方法，包括观察性研究，即使在随机实验不可行或不道德的情况下，也能有效识别干预对再犯的影响。
• 美国仅有16%的刑事司法干预措施通过随机对照试验进行评估，凸显了基于证据的政策在证据上的重大缺口。
• 临床医学中的伦理框架（如机构审查委员会监督和分阶段评估）可被调整应用于确保刑事司法中数据的负责任使用。
• 将风险评估重新定义为诊断工具，使从业者能够针对犯罪的根本原因（如获得心理治疗或就业机会）采取行动，而非依赖静态风险评分。