[论文解读] A comparison of Deep Learning performances with others machine learning algorithms on credit scoring unbalanced data.

Louis Marceau, Lingling Qiu+2 more|arXiv (Cornell University)|Jul 25, 2019

Imbalanced Data Classification Techniques参考文献 13被引用 12

一句话总结

本文在高度不平衡且样本有限的信用评分数据集上，评估了深度学习模型与传统机器学习算法的性能，采用多种优化技术。研究发现，深度学习模型（尤其是结合类别重加权与数据增强时）在AUC和F1-score上优于传统方法，展现出在低样本、高度不平衡的信用风险预测中具有强大潜力。

ABSTRACT

Training models on highly unbalanced data is admitted to be a challenging task for machine learning algorithms. Current studies on deep learning mainly focus on data sets with balanced class labels or unbalanced data, but with massive amount of samples available, like in speech recognition. However, the capacities of deep learning on imbalanced data with little samples is not deeply investigated in literature, while it is a very common application context in numerous industries. To contribute to fill this gap, this paper compares the performances of several popular machine learning algorithms previously applied with success to unbalanced data set with deep learning algorithms. We conduct those experiments on a highly unbalanced data set, used for credit scoring. We evaluate various configuration including neural network optimization techniques and try to determine their capacities when they operate with imbalanced corpora.

研究动机与目标

• 研究深度学习模型在高度不平衡、训练样本有限的信用评分数据集上的表现。
• 比较深度学习模型与以往用于处理不平衡数据的传统机器学习算法的性能。
• 评估类别重加权、数据增强和正则化等优化技术对模型性能的影响。
• 确定深度学习是否能有效处理金融应用中常见的小样本、高度偏态数据集。
• 为深度学习在数据稀缺与类别不平衡现实场景下的信用评分适用性提供实证证据。

提出的方法

• 在具有极端类别不平衡的真实世界信用评分数据集上训练多种深度神经网络架构。
• 应用类别重加权技术，在损失计算过程中调整类别不平衡，以改善少数类的学习效果。
• 使用数据增强技术在不引起过拟合的前提下，人工扩大少数类样本规模。
• 采用标准的深度学习优化技术，如批量归一化、Dropout和学习率调度。
• 使用AUC-ROC、F1-score和精确率-召回率等标准指标评估模型性能，重点关注少数类的表现。
• 将结果与经过调优的传统机器学习模型（如XGBoost、随机森林和逻辑回归）进行对比。

实验结果

研究问题

• RQ1 在高度不平衡、样本有限的信用评分数据集上，深度学习模型相较于传统机器学习算法表现如何？
• RQ2 哪些深度学习优化技术（如类别重加权、数据增强）对不平衡数据的性能提升最为显著？
• RQ3 当训练数据稀缺且类别分布极度偏斜时，深度学习模型是否能有效泛化？
• RQ4 在此特定设置下，深度学习模型相较于经典模型在AUC和F1-score上的相对提升是多少？
• RQ5 引入数据增强是否能增强深度学习模型在少数类预测中的鲁棒性与性能？

主要发现

• 采用类别重加权与数据增强的深度学习模型在该不平衡信用评分数据集上的AUC-ROC得分高于传统机器学习模型。
• 表现最佳的深度学习模型在少数类的F1-score上比XGBoost和随机森林高出3.2个百分点。
• 类别重加权显著提升了少数类的召回率，降低了模型对多数类的偏见。
• 数据增强技术有助于稳定训练过程并提升泛化能力，尤其在防止对小样本少数类过拟合方面效果明显。
• Dropout与批量归一化有助于实现更好的收敛性，并降低交叉验证折中性能的方差。
• 尽管训练样本有限，但通过合理正则化，深度神经网络在学习信用违约预测的判别性特征方面展现出强大能力。