[論文レビュー] PSD2 Explainable AI Model for Credit Scoring

Neus Llop Torrent, Giorgio Visani+1 more|arXiv (Cornell University)|Nov 20, 2020

Financial Distress and Bankruptcy Prediction参考文献 33被引用数 6

ひとこと要約

本論文は、SHAP値を用いてグローバルおよびローカルな解釈性を実現する、信用スコアリング向けのCatBoostベースの解釈可能なAIモデルを提案する。このモデルは、従来のロジスティック回帰よりも予測精度を向上させつつ、ローン承認意思決定の特徴レベルでの透明な説明により、規制適合性を確保する。Giniスコアは0.68を達成した。

ABSTRACT

The aim of this project is to develop and test advanced analytical methods to improve the prediction accuracy of Credit Risk Models, preserving at the same time the model interpretability. In particular, the project focuses on applying an explainable machine learning model to bank-related databases. The input data were obtained from open data. Over the total proven models, CatBoost has shown the highest performance. The algorithm implementation produces a GINI of 0.68 after tuning the hyper-parameters. SHAP package is used to provide a global and local interpretation of the model predictions to formulate a human-comprehensive approach to understanding the decision-maker algorithm. The 20 most important features are selected using the Shapley values to present a full human-understandable model that reveals how the attributes of an individual are related to its model prediction.

研究の動機と目的

• GDPRおよびPSD2規制に準拠する高精度で解釈可能な信用スコアリングモデルの開発を目的とする。
• 非線形な特徴関係を捉えることができない従来のロジスティック回帰の限界を克服することを目的とする。
• 解釈可能なAI（XAI）技術を適用し、モデル予測の透明性と人間が理解可能な説明を提供することを目的とする。
• 特に不均衡な金融データセットにおける機械学習モデルの性能を評価することを目的とする。
• Shapley値を用いて、信用リスク意思決定に影響を与える主要な行動特徴を同定することを目的とする。

提案手法

• 研究は金融機関のオープンバンキングデータを用いて、信用スコアリングモデルを訓練する。
• ハイパーパramータチューニング後に不均衡データセットで優れた性能を示すため、主にCatBoostをモデルとして選定する。
• SHAP（SHapley Additive exPlanations）を用いて、モデル予測のグローバルおよびローカルな解釈性を計算する。
• 特徴重要度はShapley値から導出され、予測結果に最も影響を与える20の特徴が特定された。
• データセットのクラス不均衡に対処するため、リサンプリング手法を評価し、モデルの公平性と性能に与える影響を検証した。
• ウォーターフォールプロットおよび依存プロットを用いてSHAP値を可視化し、極端な収入額が高いデフォルトリスクと相関することなど、直感的でないモデル行動を明らかにした。

実験結果

リサーチクエスチョン

• RQ1 不均衡な金融データにおける信用スコアリング精度に関して、CatBoostはロジスティック回帰、決定木、ニューラルネットワークと比べてどのように差をつけるか？
• RQ2 SHAP値は、規制対象の金融環境において、モデル予測のグローバルおよびローカルな解釈性をどの程度提供できるか？
• RQ3 取引ベースのどの特徴が、モデルの信用力の予測に最も顕著に影響を与えるか？
• RQ4 直感に反して、高額な受信取引（例：高額な入金）が、高いデフォルトリスクと相関する理由は何か？
• RQ5 リサンプリング手法は、データ不均衡下での信用スコアリングにおけるモデルの性能と公平性にどのように影響を与えるか？

主な発見

• ハイパーパramータチューニング後、CatBoostはGiniスコア0.68を達成し、ロジスティック回帰、決定木、ニューラルネットワークを上回る最高の性能を示した。
• SHAP分析により、取引履歴における極端な収入額（例：75€以上）が、予想に反して高いデフォルトリスクと関連していることが判明した。
• モデルは、1か月間の最大受信取引額が高く、かつ前月の値と類似する場合、誤って悪いクライアントが良いクライアントと誤分類される（偽陰性）可能性が著しく高くなると特定した。
• trx_max_all_last30およびtrx_max_incoming_last30といった特徴が、デフォルトリスク予測において最も影響力が強く、SHAP値は非線形効果を示した。
• 限定的なデータセットではニューラルネットワークの性能が著しく低く、信用スコアリングには最適ではないことが示された。
• 本研究は、SHAPのような解釈可能なAI技術が、金融データにおける直感的でないが統計的に妥当なパターンを明らかにできることを示し、モデルの透明性と信頼性を向上させた。