[论文解读] In Pursuit of Interpretable, Fair and Accurate Machine Learning for Criminal Recidivism Prediction

Caroline Wang, Bin Han+2 more|arXiv (Cornell University)|May 8, 2020

Crime Patterns and Interventions被引用 10

一句话总结

本文提出了一种可解释的机器学习模型，用于预测犯罪再犯行为，其预测准确率与黑箱模型及现有工具（如COMPAS和Arnold PSA）相当或更优，同时确保公平性与透明度。在佛罗里达州和肯塔基州数据上分别训练的模型在跨区域推广时表现较差，表明需要进行特定于地理位置的模型训练及定期更新。

ABSTRACT

Objectives: We study interpretable recidivism prediction using machine learning (ML) models and analyze performance in terms of prediction ability, sparsity, and fairness. Unlike previous works, this study trains interpretable models that output probabilities rather than binary predictions, and uses quantitative fairness definitions to assess the models. This study also examines whether models can generalize across geographic locations. Methods: We generated black-box and interpretable ML models on two different criminal recidivism datasets from Florida and Kentucky. We compared predictive performance and fairness of these models against two methods that are currently used in the justice system to predict pretrial recidivism: the Arnold PSA and COMPAS. We evaluated predictive performance of all models on predicting six different types of crime over two time spans. Results: Several interpretable ML models can predict recidivism as well as black-box ML models and are more accurate than COMPAS or the Arnold PSA. These models are potentially useful in practice. Similar to the Arnold PSA, some of these interpretable models can be written down as a simple table. Others can be displayed using a set of visualizations. Our geographic analysis indicates that ML models should be trained separately for separate locations and updated over time. We also present a fairness analysis for the interpretable models. Conclusions: Interpretable machine learning models can perform just as well as non-interpretable methods and currently-used risk assessment scales, in terms of both prediction accuracy and fairness. Machine learning models might be more accurate when trained separately for distinct locations and kept up-to-date.

研究动机与目标

• 开发可解释的机器学习模型，以在保持高预测准确率的同时，确保刑事再犯预测中的透明度与公平性。
• 评估可解释模型是否能在准确率与公平性方面超越广泛使用的风险评估工具（如COMPAS和Arnold PSA）。
• 研究再犯预测模型在不同地理区域（如佛罗里达州与肯塔基州）之间的泛化能力。
• 使用现代定量公平性定义，评估模型在不同种族与性别子群体中的表现。
• 通过展示模型可呈现为简单表格或可视化形式，指导其在司法实践中的实际应用。

提出的方法

• 在两个独立数据集（佛罗里达州布劳瓦德县和肯塔基州）上分别训练黑箱与可解释的机器学习模型。
• 使用RiskSLIM算法生成稀疏、可解释的模型，输出概率而非二元预测结果。
• 通过AUC与校准度量指标，在六种犯罪类型（总体、暴力、毒品、财产、重罪、轻罪）及6个月与2年时间范围内评估模型性能。
• 应用定量公平性定义（如平等机会、预测一致性）评估模型在不同种族与性别子群体中的行为表现。
• 比较不同区域间的模型表现以测试泛化能力，发现当在某一司法管辖区训练的模型应用于另一辖区时，性能显著下降。
• 通过因果推理与数据分布分析，解释模型为何无法在不同地区间泛化，指出年龄分布变化与政策影响是主要原因。

实验结果

研究问题

• RQ1 可解释的机器学习模型能否实现与黑箱模型及当前风险评估工具（如COMPAS和Arnold PSA）相当的预测性能？
• RQ2 在某一司法管辖区（如佛罗里达州）训练的可解释模型是否能良好泛化至另一司法管辖区（如肯塔基州），还是必须进行特定于地理位置的训练？
• RQ3 使用现代公平性定义时，可解释模型在不同种族与性别子群体中的公平性表现如何？
• RQ4 可解释模型是否能通过简单表格或可视化形式有效传达给司法人员？
• RQ5 数据分布的时间与地理变化对再犯预测模型长期有效性的潜在影响是什么？

主要发现

• 多个可解释的机器学习模型在预测性能上达到或超过黑箱模型，并在各自训练数据集上显著优于COMPAS与Arnold PSA。
• 在某一司法管辖区（如佛罗里达州布劳瓦德县）数据上训练的模型，当应用于另一辖区（如肯塔基州）时，性能显著下降，表明跨区域泛化能力差。
• 研究发现，数据分布（尤其是年龄分布）在1990年至2010年间发生了显著变化，这可能是导致模型在不同地区与时间之间泛化能力差的原因。
• 可解释模型可呈现为一页纸内的简单表格或可视化形式，适合司法使用，从而增强透明度与正当程序。
• 公平性分析显示，尽管部分可解释模型满足关键公平性标准（如平等机会），但其他模型仍存在差异，凸显了公平性感知模型设计的必要性。
• 结果支持采用特定于地理位置的模型训练与定期重训，州级模型的表现优于全国性模型（如Arnold PSA）。