[论文解读] Managing dataset shift by adversarial validation for credit scoring

Hongyi Qian, Baohui Wang+4 more|arXiv (Cornell University)|Dec 19, 2021

Imbalanced Data Classification Techniques被引用 5

一句话总结

本论文提出了一种基于对抗验证的方法，通过在交叉验证中选择与测试集分布最接近的训练样本，以缓解信贷评分中的数据集偏移问题，同时还将分布外样本纳入训练。该方法提升了模型的泛化能力，并在测试集上实现了0.7327的AUC，优于标准的时间顺序划分和随机划分方法。

ABSTRACT

Dataset shift is common in credit scoring scenarios, and the inconsistency between the distribution of training data and the data that actually needs to be predicted is likely to cause poor model performance. However, most of the current studies do not take this into account, and they directly mix data from different time periods when training the models. This brings about two problems. Firstly, there is a risk of data leakage, i.e., using future data to predict the past. This can result in inflated results in offline validation, but unsatisfactory results in practical applications. Secondly, the macroeconomic environment and risk control strategies are likely to be different in different time periods, and the behavior patterns of borrowers may also change. The model trained with past data may not be applicable to the recent stage. Therefore, we propose a method based on adversarial validation to alleviate the dataset shift problem in credit scoring scenarios. In this method, partial training set samples with the closest distribution to the predicted data are selected for cross-validation by adversarial validation to ensure the generalization performance of the trained model on the predicted samples. In addition, through a simple splicing method, samples in the training data that are inconsistent with the test data distribution are also involved in the training process of cross-validation, which makes full use of all the data and further improves the model performance. To verify the effectiveness of the proposed method, comparative experiments with several other data split methods are conducted with the data provided by Lending Club. The experimental results demonstrate the importance of dataset shift in the field of credit scoring and the superiority of the proposed method.

研究动机与目标

• 解决由于时间因素和宏观经济变化导致的信贷评分中训练集与测试集分布差异的问题。
• 克服传统交叉验证忽略数据分布偏移的局限性，尤其是在依赖时间的金融数据中。
• 通过选择与测试集分布最相似的训练样本，提升模型在真实世界测试数据上的泛化能力。
• 通过在训练中包含差异较大的样本，同时从验证中排除这些样本，实现数据的充分利用并保持性能稳定性。
• 证明对抗验证在信贷评分场景下相较于时间顺序划分和随机划分方法的优越性。

提出的方法

• 通过训练一个二元判别器来区分训练样本与测试集，利用对抗验证衡量训练样本与测试集之间的分布相似性。
• 选择对抗验证得分最高（即与测试数据最相似）的训练样本用于交叉验证，以确保模型泛化能力。
• 应用分位数阈值选择表现最佳的样本——例如在一项实验中采用第75百分位数——基于对抗验证得分。
• 将与测试集分布差异较大的剩余训练样本加入交叉验证的训练折中，但排除在验证集之外，以保持模型鲁棒性。
• 该方法结合了分布感知采样与全量数据利用，平衡了泛化能力与数据效率。
• 实验使用带有时间戳的Lending Club数据集，以模拟现实世界中的时间分布偏移。

实验结果

研究问题

• RQ1 当训练集与测试集来自不同时间段时，数据集偏移如何影响信贷评分中的模型性能？
• RQ2 对抗验证能否有效识别出与测试集分布最接近的训练样本？
• RQ3 仅对最相似样本进行交叉验证是否能提升模型在未见测试数据上的泛化能力？
• RQ4 在训练中包含差异较大的样本，同时从验证中排除这些样本，是否能进一步提升性能与稳定性？
• RQ5 与时间顺序划分和随机划分相比，所提出方法在AUC和鲁棒性方面表现如何？

主要发现

• 所提出的对抗验证方法在测试集上实现了0.7327的AUC，为所有实验配置中的最高值。
• 当仅使用对抗验证样本中前75%的样本进行交叉验证时，测试集AUC达到0.7315。
• 将排名较低但仍有相关性的样本纳入训练（不参与验证）可提升性能稳定性，并使最大AUC提升至0.7327（在第40百分位数阈值下）。
• 该方法在分布偏移条件下显著优于时间顺序划分和随机划分，展现出更好的泛化能力。
• 当训练集同时包含分布相似和差异较大的样本，而验证集仅限于最相似的子集时，可实现最优性能。
• 所选样本的分布与测试集的时间分布高度一致，证实了该方法对时间变化的敏感性。