[论文解读] Calibration of Machine Learning Classifiers for Probability of Default Modelling

Pedro G. Fonseca, Hugo Lopes|arXiv (Cornell University)|Oct 24, 2017

Advanced Data Processing Techniques被引用 9

一句话总结

本文评估了用于机器学习分类器的校准技术——Platt Scaling 和 Isotonic Regression——在信用评分中的应用，重点关注违约概率（PD）估计。基于18个真实世界数据集（视为时间序列），研究证明使用 Isotonic Regression 进行再校准可显著提升长期校准性能，使梯度提升等非参数模型在 Brier Score Loss 上优于逻辑回归。

ABSTRACT

Binary classification is highly used in credit scoring in the estimation of probability of default. The validation of such predictive models is based both on rank ability, and also on calibration (i.e. how accurately the probabilities output by the model map to the observed probabilities). In this study we cover the current best practices regarding calibration for binary classification, and explore how different approaches yield different results on real world credit scoring data. The limitations of evaluating credit scoring models using only rank ability metrics are explored. A benchmark is run on 18 real world datasets, and results compared. The calibration techniques used are Platt Scaling and Isotonic Regression. Also, different machine learning models are used: Logistic Regression, Random Forest Classifiers, and Gradient Boosting Classifiers. Results show that when the dataset is treated as a time series, the use of re-calibration with Isotonic Regression is able to improve the long term calibration better than the alternative methods. Using re-calibration, the non-parametric models are able to outperform the Logistic Regression on Brier Score Loss.

研究动机与目标

• 解决在信用评分模型验证中仅依赖排名能力指标的局限性。
• 评估校准技术如何影响机器学习分类器在 PD 建模中概率估计的准确性。
• 在不同校准方法下，对逻辑回归、随机森林和梯度提升分类器的性能进行基准测试。
• 评估当数据集被视为时间序列时，再校准随时间的影响。
• 确定非参数模型在使用 Isotonic Regression 正确校准后，是否能优于逻辑回归。

提出的方法

• 采用 Platt Scaling 和 Isotonic Regression 作为后处理校准技术，以调整原始模型输出。
• 将每个数据集视为时间序列，以模拟现实世界中模型随时间的部署，从而在固定时间间隔进行再校准。
• 分别对训练集和验证集应用校准技术，以评估长期性能。
• 使用 Brier Score Loss 作为主要指标来评估校准质量，衡量预测概率与实际概率之间的差异。
• 在18个真实世界信用评分数据集上，结合排名能力（AUC）和校准（Brier Score）指标比较模型性能。
• 实施基准测试框架，系统评估校准对非参数模型与逻辑回归影响。

实验结果

研究问题

• RQ1 校准在多大程度上影响机器学习分类器在 PD 建模中概率估计的长期可靠性？
• RQ2 与逻辑回归相比，Isotonic Regression 的再校准能否改善非参数模型的 Brier Score Loss？
• RQ3 排名能力指标（如 AUC）在多大程度上无法捕捉信用评分模型中的校准问题？
• RQ4 将数据集视为时间序列如何影响校准模型随时间的性能？
• RQ5 Platt Scaling 与 Isotonic Regression 在提升 PD 估计模型校准方面，相对有效性如何？

主要发现

• 当数据集被视为时间序列时，使用 Isotonic Regression 进行再校准可显著提升长期校准性能。
• 在使用 Isotonic Regression 进行再校准后，非参数模型（如梯度提升分类器）的 Brier Score Loss 显著优于逻辑回归。
• 校准技术（如 Isotonic Regression）对于提升概率估计的可靠性至关重要，尤其是在动态信用风险环境中。
• 仅依赖排名能力指标（如 AUC）可能掩盖校准问题，导致对模型预测的过度自信。
• 在非线性、复杂的数据分布中，Isotonic Regression 在长期保持准确概率估计方面优于 Platt Scaling。
• 在18个真实世界数据集上的基准测试确认，经校准的非参数模型在校准指标上始终优于逻辑回归，尽管其 AUC 表现相似。