[论文解读] Explainable AI in Credit Risk Management

Joerg Osterrieder, Branka Hadji Misheva+3 more|Data Archiving and Networked Services (DANS)|Mar 1, 2021

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文在 Lending Club 数据集上对基于机器学习的信用评分模型应用了 LIME 和 SHAP——两种最先进的事后可解释性技术，以提升信用风险决策的透明度。结果表明，两种方法均生成了一致且具有金融可解释性的解释，其中 SHAP 在特征重要性估计方面表现出稳健性，尽管计算成本较高。

ABSTRACT

Artificial Intelligence (AI) has created the single biggest technology revolution the world has ever seen. For the finance sector, it provides great opportunities to enhance customer experience, democratize financial services, ensure consumer protection and significantly improve risk management. While it is easier than ever to run state-of-the-art machine learning models, designing and implementing systems that support real-world finance applications have been challenging. In large part because they lack transparency and explainability which are important factors in establishing reliable technology and the research on this topic with a specific focus on applications in credit risk management. In this paper, we implement two advanced post-hoc model agnostic explainability techniques called Local Interpretable Model Agnostic Explanations (LIME) and SHapley Additive exPlanations (SHAP) to machine learning (ML)-based credit scoring models applied to the open-access data set offered by the US-based P2P Lending Platform, Lending Club. Specifically, we use LIME to explain instances locally and SHAP to get both local and global explanations. We discuss the results in detail and present multiple comparison scenarios by using various kernels available for explaining graphs generated using SHAP values. We also discuss the practical challenges associated with the implementation of these state-of-art eXplainabale AI (XAI) methods and document them for future reference. We have made an effort to document every technical aspect of this research, while at the same time providing a general summary of the conclusions.

研究动机与目标

• 为解决基于机器学习的信用评分模型缺乏透明度的问题，该问题阻碍了信任建立和监管合规。
• 评估事后可解释性技术（LIME 和 SHAP）在解释机器学习模型对信用风险预测效果方面的有效性。
• 为在计算和技术约束条件下在实际金融应用中实施 XAI 方法提供实用洞见。
• 通过可解释人工智能支持金融包容性，实现更公平、更具可解释性的信用决策。
• 记录实施过程中的挑战与解决方案，为未来在金融领域中研究和工业部署 XAI 提供参考。

提出的方法

• 采用 LIME 对单个贷款预测提供局部、实例级别的解释，使用模型无关方法。
• 使用 SHAP 提供局部和全局解释，利用 Shapley 值量化特征对预测结果的贡献。
• 在 Lending Club 数据集上训练多种机器学习模型（逻辑回归、随机森林、SVM），并将它们的预测结果作为解释器的输入。
• 采用 ALE（累积局部效应）图分析特征对预测的影响，通过可视化和稳定性检查确定区间大小。
• 通过在 20,000 个样本子集上使用 k-means 聚类，生成代表性背景数据集，以优化 SHAP 计算，用于 Kernel Explainer。
• 通过将最佳 GridSearchCV 模型重新训练为独立估计器，解决了模型兼容性问题，以支持 LIME 集成。

实验结果

研究问题

• RQ1 LIME 和 SHAP 如何以符合金融逻辑的方式解释基于机器学习的信用评分模型的预测？
• RQ2 LIME 和 SHAP 识别出的前几位特征在不同数据样本大小下是否保持稳定？
• RQ3 在真实金融机器学习流水线中部署事后可解释性方法面临哪些实际挑战？
• RQ4 不同的 SHAP 解释器和核配置如何影响特征重要性图的可解释性和一致性？
• RQ5 可解释人工智能技术能否在满足 GDPR 等监管要求的前提下，提升信用风险管理中对机器学习模型的信任度和采纳率？

主要发现

• LIME 和 SHAP 生成了一致且可解释的解释，与金融直觉相符，例如更高的总还款额可降低违约风险。
• 影响信用风险的前 20 个特征在不同测试集大小下保持稳定，增强了对模型特征重要性排序的信心。
• SHAP 值在捕捉特征影响方面表现出稳健性，其中 'total_pymnt' 特征在还款额从 0 增至 40,000 时，预测得分下降 0.65 分。
• 'total_rec_int'（已收利息总额）特征被发现会增加被分类为高风险的可能性，表明更高的利息回收与更高风险相关。
• 计算需求较高，尤其是 SHAP 的 Kernel Explainer，需通过采样（2,000 个测试样本）和背景数据近似（30 个 k-means 聚心）来降低运行时间。
• 通过仔细的预处理和模型重训练，解决了特定模型挑战，如 SVM 的概率估计和可解释性工具兼容性问题。