[论文解读] Credit card score prediction using machine learning models: A new dataset

Anas Arram, Masri Ayob+3 more|arXiv (Cornell University)|Oct 4, 2023

Financial Distress and Bankruptcy Prediction被引用 4

一句话总结

本研究基于一家美国银行的数据，提出了一项新的信用卡评分数据集，并评估了多种机器学习模型——逻辑回归、XGBoost、LightGBM、决策树、随机森林和MLP——在违约预测中的表现。MLP模型在召回率（80%）和AUC（86.7%）方面表现最佳，是减少信用风险评估中假阴性情况的最优模型。

ABSTRACT

The use of credit cards has recently increased, creating an essential need for credit card assessment methods to minimize potential risks. This study investigates the utilization of machine learning (ML) models for credit card default prediction system. The main goal here is to investigate the best-performing ML model for new proposed credit card scoring dataset. This new dataset includes credit card transaction histories and customer profiles, is proposed and tested using a variety of machine learning algorithms, including logistic regression, decision trees, random forests, multi-layer perceptron (MLP) neural network, XGBoost, and LightGBM. To prepare the data for machine learning models, we perform data pre-processing, feature extraction, feature selection, and data balancing techniques. Experimental results demonstrate that MLP outperforms logistic regression, decision trees, random forests, LightGBM, and XGBoost in terms of predictive performance in true positive rate, achieving an impressive area under the curve (AUC) of 86.7% and an accuracy rate of 91.6%, with a recall rate exceeding 80%. These results indicate the superiority of MLP in predicting the default customers and assessing the potential risks. Furthermore, they help banks and other financial institutions in predicting loan defaults at an earlier stage.

研究动机与目标

• 开发一个整合了交易历史与客户档案信息的新型、全面的信用卡评分数据集，以提升违约预测能力。
• 评估多种机器学习模型在预测信用卡违约方面的性能，重点关注召回率，以最小化假阴性。
• 通过系统化的预处理技术，解决缺失值、异常值和类别不平衡等数据质量问题。
• 识别出最适合早期检测违约客户的最优机器学习模型，优先考虑召回率而非其他指标。
• 为金融机构提供一种稳健、数据驱动的工具，用于评估信用风险并降低贷款违约暴露。

提出的方法

• 从一家美国银行收集并整理了新的信用卡评分数据集，整合了交易历史与客户人口统计信息。
• 应用了包括特征提取、缺失值插补、基于IQR的异常值处理以及SMOTE用于类别平衡在内的数据预处理技术。
• 训练并评估了六种机器学习模型：逻辑回归、决策树、随机森林、MLP神经网络、XGBoost和LightGBM。
• 使用标准评估指标，包括准确率、AUC、精确率和召回率，将召回率作为主要性能标准。
• 通过ROC曲线可视化模型性能，以比较各模型的区分能力。
• 基于召回率和AUC选择最佳性能模型，并进一步分析精确率-召回率之间的权衡。

Figure 1: Feed forward neural network structure [ 32 ]

实验结果

研究问题

• RQ1 在新提出的数据集中，哪种机器学习模型在预测信用卡违约时实现了最高的召回率？
• RQ2 不同的预处理技术（如SMOTE和异常值处理）如何影响信用评分模型的性能？
• RQ3 传统模型（如逻辑回归）与先进模型（如MLP、LightGBM）在信用违约预测中的表现有何差异？
• RQ4 当以召回率为优先时，深度学习模型（如MLP）是否能优于基于树的模型，更有效地识别出真正的违约案例？
• RQ5 模型在关键指标（AUC、准确率、精确率、召回率）上的表现如何变化？哪种模型在现实信用风险评估中提供了最佳的平衡？

主要发现

• MLP分类器在所有模型中实现了最高的召回率（80%），在识别真实违约客户方面最为有效。
• MLP模型的AUC达到86.7%，表明其在区分违约与非违约案例方面具有较强的判别能力。
• LightGBM在准确率（94.44%）和AUC（84.19%）方面表现最佳，但其召回率（70%）低于MLP。
• 随机森林虽然准确率较高（93.06%），但其召回率（75%）和精确率（75%）均较低，表明在识别所有正样本方面存在权衡。
• 逻辑回归和决策树分类器表现较差，召回率均为70%，且AUC得分较低。
• ROC曲线分析表明，MLP和随机森林的ROC曲线最接近左上角，表明其在区分违约客户方面整体表现更优。

Figure 2: The distribution of class labels