[論文レビュー] Enabling Machine Learning Algorithms for Credit Scoring -- Explainable Artificial Intelligence (XAI) methods for clear understanding complex predictive models

Przemysław Biecek, Marcin Chlebuś+6 more|arXiv (Cornell University)|Apr 14, 2021

Financial Distress and Bankruptcy Prediction被引用数 6

ひとこと要約

本論文は、XGBoost や LightGBM といった高度な木ベースの機械学習モデルが、解釈可能AI（XAI）手法を用いることで解釈可能性を維持しつつ、信用スコアリングの精度において従来のロジスティック回帰を上回ることを示している。大規模なポーランド信用局データセットを用いて、SHAP や LIME といったXAI手法が、金融リスク管理における「ブラックボックス」障壁を克服し、実務家が複雑なモデルを理解し信頼できるようにする仕組みを示している。

ABSTRACT

Rapid development of advanced modelling techniques gives an opportunity to develop tools that are more and more accurate. However as usually, everything comes with a price and in this case, the price to pay is to loose interpretability of a model while gaining on its accuracy and precision. For managers to control and effectively manage credit risk and for regulators to be convinced with model quality the price to pay is too high. In this paper, we show how to take credit scoring analytics in to the next level, namely we present comparison of various predictive models (logistic regression, logistic regression with weight of evidence transformations and modern artificial intelligence algorithms) and show that advanced tree based models give best results in prediction of client default. What is even more important and valuable we also show how to boost advanced models using techniques which allow to interpret them and made them more accessible for credit risk practitioners, resolving the crucial obstacle in widespread deployment of more complex, 'black box' models like random forests, gradient boosted or extreme gradient boosted trees. All this will be shown on the large dataset obtained from the Polish Credit Bureau to which all the banks and most of the lending companies in the country do report the credit files. In this paper the data from lending companies were used. The paper then compares state of the art best practices in credit risk modelling with new advanced modern statistical tools boosted by the latest developments in the field of interpretability and explainability of artificial intelligence algorithms. We believe that this is a valuable contribution when it comes to presentation of different modelling tools but what is even more important it is showing which methods might be used to get insight and understanding of AI methods in credit risk context.

研究の動機と目的

• 現代の機械学習モデルの信用スコアリングにおける性能を、従来のロジスティック回帰と比較して評価すること。
• 金融リスク管理における複雑な「ブラックボックス」モデルの解釈可能性の課題に対処すること。
• SHAP や LIME のようなXAI手法が、木ベースのモデルからの予測を説明する実用的応用を示すこと。
• 実世界の信用リスク環境に適した高精度で解釈可能なモデルを導入するためのフレームワークを提供すること。
• AI駆動の信用スコアリングにおけるモデルのパフォーマンスと規制適合性／実務家による信頼のギャップを埋めること。

提案手法

• 本研究では、大規模なポーランド信用局データセットを用いて、ロジスティック回帰、WOE変換を施したロジスティック回帰、および高度な木ベースのモデル（XGBoost、LightGBM）を比較した。
• 複雑なモデルの予測を解釈するために、SHAP（SHapley Additive exPlanations）やLIME（Local Interpretable Model-agnostic Explanations）といったXAI手法を適用した。
• モデルのパフォーマンスは、AUC-ROC、KS統計量、ジニ係数といった標準的な信用リスク指標を用いて評価した。
• 特徴量の重要度と部分的依存プロットを用いて、モデルの挙動およびクライアントレベルのリスク要因を分析した。
• 匿名化された融資機関のデータを用いてモデルを学習および検証したため、実世界の関連性が保証された。
• 解釈可能性フレームワークは、規制適合性と経営意思決定を支援することを目的として設計された。

実験結果

リサーチクエスチョン

• RQ1 現代の木ベースの機械学習モデルは、信用スコアリングにおいて従来のロジスティック回帰よりも顕著に高い予測精度を達成できるか？
• RQ2 SHAP や LIME といったXAI手法は、信用リスク応用における複雑な「ブラックボックス」モデルの解釈可能性をどの程度向上できるか？
• RQ3 XAI手法による特徴量の重要度と局所的解釈は、リスク管理と規制監査をどのように支援するか？
• RQ4 金融機関で高度な機械学習モデルを用いる際、モデルの精度と解釈可能性の間にはどのようなトレードオフがあるか？
• RQ5 XAI手法は、モデル性能に影響を与えることなく、既存の信用リスクワークフローに効果的に統合可能か？

主な発見

• XGBoost および LightGBM モデルが最高の AUC-ROC スコアを達成し、ロジスティック回帰およびWOE変換済みモデルを顕著に上回った。
• 最高性能を発揮した木ベースのモデルは、AUC-ROC が 0.75 を超えることを確認し、延滞予測における優れた識別力を持つことを示した。
• SHAPに基づく解釈では、収入対負債比率と最近のクレジット利用度が延滞予測において最も影響力のある特徴量であることが明らかになった。
• LIMEによる解釈は局所的な解釈性を提供し、リスクアナリストが高精度で個々のクライアントのリスク要因を評価できるようにした。
• XAI手法の統合により、複雑なモデルの透明性が低下し、信用リスク実務家による信頼感が向上した。
• 本研究は、高精度なモデルが規制対象の金融環境でも解釈可能かつ運用可能であることを確認した。