[论文解读] Using Regression Kernels to Forecast A Failure to Appear in Court

Richard A. Berk, Justin Bleich+4 more|arXiv (Cornell University)|Sep 5, 2014

Advanced Statistical Methods and Models参考文献 47被引用 5

一句话总结

本文提出了一种基于核函数的回归方法，通过主成分分析进行正则化，用于预测法庭出庭失败（FTA），其表现优于传统的逐步逻辑回归。通过核函数对预测变量进行变换，并利用核矩阵的特征分解降低维度，该方法即使在小样本至中等样本量的数据集中也能实现更高的预测准确性，展示了在使用费城保释前数据的真实世界FTA预测任务中的优异性能。

ABSTRACT

Forecasts of prospective criminal behavior have long been an important feature of many criminal justice decisions. There is now substantial evidence that machine learning procedures will classify and forecast at least as well, and typically better, than logistic regression, which has to date dominated conventional practice. However, machine learning procedures are adaptive. They "learn" inductively from training data. As a result, they typically perform best with very large datasets. There is a need, therefore, for forecasting procedures with the promise of machine learning that will perform well with small to moderately-sized datasets. Kernel methods provide precisely that promise. In this paper, we offer an overview of kernel methods in regression settings and compare such a method, regularized with principle components, to stepwise logistic regression. We apply both to a timely and important criminal justice concern: a failure to appear (FTA) at court proceedings following an arraignment. A forecast of an FTA can be an important factor is a judge's decision to release a defendant while awaiting trial and can influence the conditions imposed on that release. Forecasting accuracy matters, and our kernel approach forecasts far more accurately than stepwise logistic regression. The methods developed here are implemented in the R package kernReg currently available on CRAN.

研究动机与目标

• 开发一种结合机器学习预测能力与适用于小至中等规模刑事司法数据集的方法。
• 通过利用能够处理预测变量数量多于观测数量的核方法，克服传统逻辑回归在小样本中的局限性。
• 为保释风险评估提供一种实用、可解释且准确的黑箱机器学习模型替代方案。
• 通过使用费城的真实世界数据，证明该方法在预测法庭出庭失败（FTA）方面的有效性。
• 使在缺乏大规模数据集的专门法庭或小规模司法管辖区中实现准确预测成为可能。

提出的方法

• 该方法对原始预测变量应用核变换，将其映射到高维特征空间，以捕捉复杂且非线性的关系。
• 利用核技巧避免显式计算高维特征，而是直接基于数据导出的核矩阵进行运算。
• 对中心化后的核矩阵应用主成分分析，以提取最具信息量的维度，从而降低维度并保留方差。
• 将所得的低维表示用作逻辑回归模型的输入，并通过正则化防止过拟合。
• 对于新案例，将核函数应用于新观测值与训练数据之间，并将结果投影到训练阶段确定的同一主成分子空间，以生成预测。
• 该方法依赖于中心化核矩阵的特征分解，以计算投影，而无需显式构造高维特征映射。

实验结果

研究问题

• RQ1 基于核函数的回归方法结合主成分正则化，是否能在预测法庭出庭失败方面优于逐步逻辑回归？
• RQ2 该方法在传统机器学习方法表现不佳的小至中等样本量中是否仍能保持高预测准确性？
• RQ3 核方法是否能在不依赖大规模数据集的情况下，有效捕捉刑事司法数据中的非线性模式？
• RQ4 与传统风险评估工具相比，该核正则化方法在真实世界保释场景中的表现如何？
• RQ5 该方法在数据可用性有限的专门法庭或小规模司法管辖区中，其适用范围有多大？

主要发现

• 基于核函数的回归方法结合主成分正则化，在预测法庭出庭失败方面显著优于逐步逻辑回归。
• 该方法有效处理了预测变量数量超过观测数量的数据集，这是小规模司法管辖区刑事司法数据中的常见挑战。
• 通过使用核技巧和核矩阵的特征分解，该方法避免了显式计算高维特征空间，同时保留了预测能力。
• 通过将新观测值投影到训练阶段定义的同一低维子空间，该方法能够实现对新案例的准确预测。
• 该方法已实现在R包kernReg中，可在CRAN上获取，便于研究人员和实践者使用。
• 本研究证明，通过核正则化，可在小数据环境中实现类似机器学习的性能，为黑箱模型提供了一种可行的替代方案。