[论文解读] Ensemble Methodology:Innovations in Credit Default Prediction Using LightGBM, XGBoost, and LocalEnsemble

Mengran Zhu, Ye Zhang+4 more|arXiv (Cornell University)|Feb 28, 2024

Financial Distress and Bankruptcy Prediction被引用 20

一句话总结

该论文提出一个 Ensemble Methods 框架，结合 LightGBM、XGBoost 和 LocalEnsemble，以提升信用违约预测的准确性，并在 American Express 数据集上得到验证。集成在公开和私有评估中均优于单一模型。

ABSTRACT

In the realm of consumer lending, accurate credit default prediction stands as a critical element in risk mitigation and lending decision optimization. Extensive research has sought continuous improvement in existing models to enhance customer experiences and ensure the sound economic functioning of lending institutions. This study responds to the evolving landscape of credit default prediction, challenging conventional models and introducing innovative approaches. By building upon foundational research and recent innovations, our work aims to redefine the standards of accuracy in credit default prediction, setting a new benchmark for the industry. To overcome these challenges, we present an Ensemble Methods framework comprising LightGBM, XGBoost, and LocalEnsemble modules, each making unique contributions to amplify diversity and improve generalization. By utilizing distinct feature sets, our methodology directly tackles limitations identified in previous studies, with the overarching goal of establishing a novel standard for credit default prediction accuracy. Our experimental findings validate the effectiveness of the ensemble model on the dataset, signifying substantial contributions to the field. This innovative approach not only addresses existing obstacles but also sets a precedent for advancing the accuracy and robustness of credit default prediction models.

研究动机与目标

• 解决消费信贷中的信用违约预测挑战。
• 构建多样化的集成框架以提升泛化性和鲁棒性。
• 利用不同的特征集和局部集成技术来提升准确性。
• 在大规模、匿名化的 American Express 数据集上验证效果。

提出的方法

• 通过去噪、类型转换和处理离群值来预处理数据。
• 构建包含聚合、滞后特征和元特征的特征。
• 使用不同的特征集训练三个模块（LightGBM、XGBoost、LocalEnsemble）以促进多样性。
• 将初始模型的折外预测作为元特征纳入。
• 使用加权融合合并模块预测（y_hat_e = sum w_i * y_hat_i）。
• 使用组合度量进行评估，结合归一化 Gini 系数和 4% 的违约率。

实验结果

研究问题

• RQ1 LightGBM、XGBoost 和 LocalEnsemble 的集成是否能在信用违约预测中比单一模型获得更高的准确性？
• RQ2 多样化的特征集和 LocalEnsemble 组件是否能提升大规模时间序列信用数据的泛化性和鲁棒性？
• RQ3 与神经网络及其他提升模型相比，所提出的 Ensemble Model 在公开和私有的 American Express 数据集子集上的表现如何？

主要发现

• Ensemble Model 在公开数据集（0.80128）和私有数据集（0.80872）上均取得最高得分。
• LocalEnsemble 与 LightGBM+XGBoost 组件通过特征多样性带来性能提升。
• XGBoost 与 LightGBM 提供强基线性能，LocalEnsemble 进一步提升泛化性。
• 前列特征在 XGBoost 与 LightGBM 的预测能力中解释超过 90% 的变异。
• 本研究中提出的三模块融合优于若干深度学习与传统模型。