[论文解读] Explaining Credit Risk Scoring through Feature Contribution Alignment with Expert Risk Analysts

Ayoub El Qadi, Natalia Díaz-Rodríguez+2 more|arXiv (Cornell University)|Mar 15, 2021

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出了一种混合方法，通过使用SHAP实现可解释性，将机器学习模型的解释与风险分析师的专业判断对齐，以进行信用风险评分。研究发现，尽管XGBoost模型的AUC达到0.7466，且更准确地捕捉了长期盈利能力，但其在特征重要性排序上与专家存在显著分歧——将盈利能力列为最重要特征，这与专家共识相悖，凸显了在金融决策中模型可信度所面临的特征重要性严重错位问题。

ABSTRACT

Credit assessments activities are essential for financial institutions and allow the global economy to grow. Building robust, solid and accurate models that estimate the probability of a default of a company is mandatory for credit insurance companies, moreover when it comes to bridging the trade finance gap. Automating the risk assessment process will allow credit risk experts to reduce their workload and focus on the critical and complex cases, as well as to improve the loan approval process by reducing the time to process the application. The recent developments in Artificial Intelligence are offering new powerful opportunities. However, most AI techniques are labelled as blackbox models due to their lack of explainability. For both users and regulators, in order to deploy such technologies at scale, being able to understand the model logic is a must to grant accurate and ethical decision making. In this study, we focus on companies credit scoring and we benchmark different machine learning models. The aim is to build a model to predict whether a company will experience financial problems in a given time horizon. We address the black box problem using eXplainable Artificial Techniques in particular, post-hoc explanations using SHapley Additive exPlanations. We bring light by providing an expert-aligned feature relevance score highlighting the disagreement between a credit risk expert and a model feature attribution explanation in order to better quantify the convergence towards a better human-aligned decision making.

研究动机与目标

• 使用欧洲金融数据，开发一个用于预测一年内企业违约的稳健机器学习模型。
• 通过应用基于SHAP的后处理解释方法，解决信用评分中的模型可解释性挑战，以增强透明度和信任度。
• 量化机器学习特征归因与专家风险分析师判断之间的一致性，识别特征相关性方面的差异。
• 评估是否可使机器学习模型更贴近人类专业知识，特别是在高风险金融决策场景中。
• 探索如何将专家知识整合到机器学习模型设计或数据标注中，以提升模型与人类判断的一致性，以及在信用风险评估中的人机共识。

提出的方法

• 本研究使用了约10万个欧洲企业的大型数据集，主要来自法国，包含一年期的财务比率和违约指标。
• 对多种机器学习模型（包括XGBoost、梯度提升和逻辑回归）进行了基准测试，以评估其在违约预测中的表现。
• 应用数据重采样技术以缓解类别不平衡问题，使召回率最高提升20%。
• 使用SHAP（SHapley Additive exPlanations）生成后处理特征归因，量化每个特征对单个预测的贡献。
• 将模型概率映射到现有公司评分卡系统中的标准化风险评分标签（A–E），以实现与专家评分的直接比较。
• 从一组信用风险分析师处收集专家判断，并将其特征相关性评估与SHAP推导出的特征重要性排序进行对比。

实验结果

研究问题

• RQ1 在高度不平衡的欧洲数据集中，机器学习模型（特别是XGBoost）对企业违约的预测能力如何？
• RQ2 基于SHAP的特征归因在多大程度上与信用风险分析师评估企业违约风险的专家知识保持一致？
• RQ3 机器学习模型识别出的最重要特征与人类专家认为相关的特征之间存在哪些关键差异？
• RQ4 为何XGBoost模型尽管专家认为其不重要，仍赋予盈利能力（R3）极高重要性？
• RQ5 将专家知识整合到模型设计或数据标注中，能否提升模型与人类判断的一致性，并增强对AI驱动信用评分的信任？

主要发现

• XGBoost模型取得了最佳性能，AUC为0.7466，准确率达到95.39%，在违约预测方面优于其他模型。
• 数据重采样技术使模型的召回率最高提升20%，表明类别不平衡显著影响模型性能。
• XGBoost模型将盈利能力（R3）识别为违约预测的最重要特征，而专家分析师则认为该特征无关紧要。
• 专家关注短期流动性比率（R1和R2），而机器学习模型则强调长期、全公司范围的属性，如盈利能力与资产负债表稳健性。
• 模型独立学习到英国企业违约风险较低，这一模式已在Tinubu评分卡中预先编码，表明模型发现了稳定且一致的区域风险模式。
• 专家与模型在特征重要性方面存在显著错配，尤其是在对盈利能力的评估上，凸显了在机器学习模型设计中引入专家指导的归纳偏置的必要性。