[论文解读] Learning Optimized Risk Scores

Berk Ustun, Cynthia Rudin|arXiv (Cornell University)|Oct 1, 2016

Health Systems, Economic Evaluations, Quality of Life参考文献 114被引用 8

一句话总结

本文提出 RiskSLIM，一种机器学习框架，将风险评分学习建模为混合整数非线性规划（MINLP），以生成校准良好、稀疏且具有整数系数的模型，实现最优性能。通过一种新颖的割平面算法（LCPA），其在数据规模上实现线性时间复杂度的可证明最优解，相较于启发式方法在真实世界 ICU 癫痫预测和基准数据集上的校准性和 AUC 表现更优。

ABSTRACT

Risk scores are simple classification models that let users make quick risk predictions by adding and subtracting a few small numbers. These models are widely used in medicine and criminal justice, but are difficult to learn from data because they need to be calibrated, sparse, use small integer coefficients, and obey application-specific operational constraints. In this paper, we present a new machine learning approach to learn risk scores. We formulate the risk score problem as a mixed integer nonlinear program, and present a cutting plane algorithm for non-convex settings to efficiently recover its optimal solution. We improve our algorithm with specialized techniques to generate feasible solutions, narrow the optimality gap, and reduce data-related computation. Our approach can fit risk scores in a way that scales linearly in the number of samples, provides a certificate of optimality, and obeys real-world constraints without parameter tuning or post-processing. We benchmark the performance benefits of this approach through an extensive set of numerical experiments, comparing to risk scores built using heuristic approaches. We also discuss its practical benefits through a real-world application where we build a customized risk score for ICU seizure prediction in collaboration with the Massachusetts General Hospital.

研究动机与目标

• 解决缺乏系统性、数据驱动的方法来构建满足现实世界约束（如稀疏性、整数系数和校准性）的风险评分的问题。
• 消除风险评分开发中对启发式流程和专家调参的依赖，这些方法常导致次优或校准性差的模型。
• 提供单次训练流程，保证最优性并尊重特定应用场景的操作约束，无需后续处理。
• 在保持精确性和可解释性的前提下，将风险评分学习扩展至大规模数据集。
• 展示最优风险评分在 ICU 癫痫预测等高风险领域中的实际价值。

提出的方法

• 将风险评分学习建模为混合整数非线性规划（MINLP），以最小化逻辑损失实现校准性和 AUC，对 ℓ₀-范数施加惩罚以实现稀疏性，并将系数限制为小整数。
• 提出一种新颖的割平面算法（LCPA），高效求解非凸 MINLP，实现样本数量的线性时间复杂度。
• 采用专门技术生成可行解，缩小最优性间隙，并减少与数据相关的计算开销。
• 使用带惰性约束生成的分支定界法，处理非凸性并强制执行如单调性和整数系数等约束。
• 集成最优性证书，验证解在定义的搜索空间内为全局最优。
• 将该框架应用于真实世界数据集（包括 ICU 癫痫预测），无需参数调优或后处理。

实验结果

研究问题

• RQ1 基于数据驱动和优化的方法是否能在满足现实世界约束（如稀疏性、整数系数）的前提下，优于启发式方法学习风险评分？
• RQ2 混合整数非线性规划能否在大规模风险评分学习中实现高效求解，且样本数量上具有线性时间复杂度？
• RQ3 所提出的方法是否能生成既高度准确又可解释、且具有保证最优性的风险评分？
• RQ4 应用特定约束（如整数系数和单调性）如何影响模型性能，能否系统性地强制执行？
• RQ5 该框架能否应用于真实世界的临床问题（如 ICU 癫痫预测），并相对于现有方法实现可测量的性能提升？

主要发现

• LCPA 算法在真实世界数据集上以分钟级时间训练 RiskSLIM 模型，实现与样本数量的线性缩放，并提供最优性证书。
• 在 ICU 癫痫预测数据集上，RiskSLIM 实现了 5 折交叉验证平均测试校准度为 2.5% 和 AUC 为 0.801，优于启发式基线方法。
• 该框架生成的评分具有 100% 稀疏性（仅使用两个特征）和整数系数，同时保持了高预测性能。
• 可靠性图和 ROC 曲线显示了强校准性和判别能力，在各风险等级上均表现出极小的校准偏差。
• 在所有测试的基准数据集中，该方法在校准性和 AUC 上均优于启发式方法，且无需参数调优或后处理。
• 该框架使领域专家能够以保证的性能边界自定义风险评分，降低对临时性开发的依赖。