[论文解读] Gradient Tree Boosted Tobit Models for Default Prediction

Fabio Sigrist, Christoph Hirnschall|arXiv (Cornell University)|Nov 23, 2017

Financial Distress and Bankruptcy Prediction被引用 3

一句话总结

本文提出 Grabit 模型，一种梯度树提升的 Tobit 模型，通过利用辅助数据改进类别不平衡数据集中的违约预测。在瑞士中小企业贷款数据上的应用表明，Grabit 在预测准确性方面显著优于最先进方法，尤其在类别不平衡情况下表现突出。

ABSTRACT

A frequent problem in binary classification is class imbalance between a minority and a majority class such as defaults and non-defaults in default prediction. In this article, we introduce a novel binary classification model, the Grabit model, which is obtained by applying gradient tree boosting to the Tobit model. We show how this model can leverage auxiliary data to obtain increased predictive accuracy for imbalanced data. We apply the Grabit model to predicting defaults on loans made to Swiss small and medium-sized enterprises (SME) and obtain a large and significant improvement in predictive performance compared to other state-of-the-art approaches.

研究动机与目标

• 为解决金融数据集中违约案例极少情况下的类别不平衡挑战。
• 开发一种新型二分类模型，将 Tobit 模型与梯度树提升结合，以提升在类别不平衡数据上的性能。
• 探讨辅助数据如何提升中小企业贷款违约风险建模中的预测准确性。
• 在真实世界中小企业信贷数据集中，评估所提出的 Grabit 模型与现有最先进方法的对比表现。

提出的方法

• Grabit 模型将梯度树提升应用于 Tobit 模型，该模型专为右删失回归设计，以处理违约结果的删失特性。
• 该方法通过迭代最小化基于 Tobit 似然的损失函数实现提升，借助集成学习提升预测性能。
• 引入辅助数据——除主要违约指标外的附加信息——以增强模型的泛化能力和预测能力。
• 模型通过在决策树上使用梯度提升进行训练，其中每棵树均针对前一集成的残差进行校正，聚焦于难以预测的样本。
• 该方法特别针对具有强类别不平衡的二分类任务进行优化，如中小企业贷款中的违约与非违约。
• 最终模型输出的违约概率预测比标准二分类器在类别不平衡条件下更具准确性和鲁棒性。

实验结果

研究问题

• RQ1 梯度树提升能否提升 Tobit 模型在类别不平衡违约预测任务中的预测性能？
• RQ2 辅助数据的整合如何影响 Grabit 模型中违约预测的准确性？
• RQ3 Grabit 模型是否在预测瑞士中小企业违约方面优于现有最先进方法？
• RQ4 Tobit 框架对删失结果的处理在类别不平衡违约数据集中在多大程度上提升了预测性能？

主要发现

• 与其它最先进方法相比，Grabit 模型在瑞士中小企业贷款数据上实现了显著且统计上显著的预测性能提升。
• 辅助数据的整合显著提高了预测准确性，证明了模型有效利用附加信息的能力。
• 该模型在处理类别不平衡方面优于标准二分类器，尤其在捕捉罕见违约事件方面表现更优。
• 将梯度树提升应用于 Tobit 模型能有效降低预测误差，并在类别不平衡违约场景中提升校准能力。
• 结果证实，经提升增强的 Tobit 框架非常适合于违约结果存在删失或受限的金融违约预测场景。
• Grabit 模型在真实世界中小企业信贷风险评估中表现出强大的鲁棒性和泛化能力，超越基准模型。