[论文解读] Infusing domain knowledge in AI-based "black box" models for better explainability with application in bankruptcy prediction

Sheikh Rabiul Islam, William Eberle+2 more|arXiv (Cornell University)|May 27, 2019

Financial Distress and Bankruptcy Prediction参考文献 55被引用 23

一句话总结

本文提出了一种方法，通过将领域知识——特别是已确立的‘信贷五要素’（5 C's of credit）——整合到AI模型的决策过程中，以增强金融领域中基于AI的‘黑箱’模型在破产预测中的可解释性。通过使用加权和公式将模型输出转化为可解释的、基于特征的贡献，该方法在不牺牲预测性能的前提下提升了透明度，为金融等受监管领域提供了实用的解决方案。

ABSTRACT

Although "black box" models such as Artificial Neural Networks, Support Vector Machines, and Ensemble Approaches continue to show superior performance in many disciplines, their adoption in the sensitive disciplines (e.g., finance, healthcare) is questionable due to the lack of interpretability and explainability of the model. In fact, future adoption of "black box" models is difficult because of the recent rule of "right of explanation" by the European Union where a user can ask for an explanation behind an algorithmic decision, and the newly proposed bill by the US government, the "Algorithmic Accountability Act", which would require companies to assess their machine learning systems for bias and discrimination and take corrective measures. Top Bankruptcy Prediction Models are A.I.-based and are in need of better explainability -the extent to which the internal working mechanisms of an AI system can be explained in human terms. Although explainable artificial intelligence is an emerging field of research, infusing domain knowledge for better explainability might be a possible solution. In this work, we demonstrate a way to collect and infuse domain knowledge into a "black box" model for bankruptcy prediction. Our understanding from the experiments reveals that infused domain knowledge makes the output from the black box model more interpretable and explainable.

研究动机与目标

• 解决在金融和医疗等高风险领域中基于AI的‘黑箱’模型缺乏可解释性的问题。
• 通过将既有的领域知识（如‘信贷五要素’）整合到AI模型中，提升模型的可解释性。
• 开发一种将模型预测表达为可解释、特定领域特征贡献的方法。
• 确保符合新兴法规要求，如欧盟的‘解释权’法规和美国《算法问责法案》。
• 在多个数据集上验证该方法，并将其适用性扩展至网络安全和医疗等其他领域。

提出的方法

• 从金融文献中收集并形式化领域知识，特别是‘信贷五要素’（信用品质、偿债能力、资本、抵押品、环境条件）。
• 将领域概念映射到模型特征，并将频繁特征泛化为可解释的高层次类别。
• 使用贡献公式：P(D) = Σ contribution(g)，其中g代表泛化的频繁特征，以将总风险概率表示为特征贡献之和。
• 应用事后解释技术（如SHAP、LIME和ELI5）来估计样本层面的特征重要性，尽管承认其在通用性和范围上的局限性。
• 将领域概念整合到模型解释中，以确保解释与人类可理解的金融推理保持一致。
• 采用混合方法，结合领域知识注入与模型无关的解释工具，以在可解释性与性能之间取得平衡。

实验结果

研究问题

• RQ1 能否有效将‘信贷五要素’等领域知识注入黑箱AI模型，以提升破产预测中的可解释性？
• RQ2 如何在不损害预测性能的前提下，将模型输出分解为可解释、特定领域的特征贡献？
• RQ3 整合领域概念在多大程度上能增强人类对AI驱动金融决策的信任与透明度？
• RQ4 所提出的方法能否在不同数据集和金融以外的领域（如网络安全或医疗）中实现泛化？
• RQ5 在使用领域知识注入时，模型性能与可解释性之间的权衡关系如何？

主要发现

• 将‘信贷五要素’等领域知识注入黑箱模型，显著提升了破产预测的可解释性与可解释性。
• 模型输出可表示为泛化频繁特征贡献的总和，从而实现对风险因素的透明分解。
• 该方法在保持高预测性能的同时，使模型决策对人类利益相关者更具可理解性。
• 事后解释工具（如SHAP和LIME）虽具实用性，但其适用范围有限；整合领域概念可提供更稳健、一致的解释框架。
• 该方法通过提供可审计、人类可读的解释，使合规性得以实现，例如符合欧盟的‘解释权’法规和美国《算法问责法案》。
• 未来工作在优化样本层面特征贡献估计方面展现出潜力，并可将该方法扩展至网络安全和医疗等其他领域。