[論文レビュー] Explainable AI in Credit Risk Management

Joerg Osterrieder, Branka Hadji Misheva+3 more|Data Archiving and Networked Services (DANS)|Mar 1, 2021

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本論文は、Lending Clubデータセットを用いて機械学習ベースの信用スコーリングモデルに、LIMEおよびSHAP——2つの最先端の後処理説明技術——を適用し、信用リスク意思決定の透明性を向上させた。結果として、両手法とも一貫性があり、金融的文脈で解釈可能な説明を生成した。SHAPは、高い計算コストにもかかわらず、特徴量の重要度推定において優れたロバストネスを示した。

ABSTRACT

Artificial Intelligence (AI) has created the single biggest technology revolution the world has ever seen. For the finance sector, it provides great opportunities to enhance customer experience, democratize financial services, ensure consumer protection and significantly improve risk management. While it is easier than ever to run state-of-the-art machine learning models, designing and implementing systems that support real-world finance applications have been challenging. In large part because they lack transparency and explainability which are important factors in establishing reliable technology and the research on this topic with a specific focus on applications in credit risk management. In this paper, we implement two advanced post-hoc model agnostic explainability techniques called Local Interpretable Model Agnostic Explanations (LIME) and SHapley Additive exPlanations (SHAP) to machine learning (ML)-based credit scoring models applied to the open-access data set offered by the US-based P2P Lending Platform, Lending Club. Specifically, we use LIME to explain instances locally and SHAP to get both local and global explanations. We discuss the results in detail and present multiple comparison scenarios by using various kernels available for explaining graphs generated using SHAP values. We also discuss the practical challenges associated with the implementation of these state-of-art eXplainabale AI (XAI) methods and document them for future reference. We have made an effort to document every technical aspect of this research, while at the same time providing a general summary of the conclusions.

研究の動機と目的

• 機械学習ベースの信用スコーリングモデルにおける透明性の欠如が、信頼性と規制適合性を損なうという問題に対処する。
• 信用リスク予測の解釈に、後処理説明技術（LIMEおよびSHAP）の有効性を評価する。
• 計算的・技術的制約のもとでの実世界の金融応用におけるXAI手法の実装に関する実用的知見を提供する。
• 説明可能なAIを通じて、公平で解釈可能な信用意思決定を可能にすることで、金融包摂を支援する。
• 今後の研究および金融分野におけるXAIの産業的導入に向けた、実装上の課題と解決策を文書化する。

提案手法

• モデルに依存しないアプローチを用いて、個々のローン予測の局所的・インスタンスレベルの説明にLIMEを適用した。
• Shapley値を活用して特徴量の寄与度を定量化し、SHAPを用いて局所的およびグローバルな説明を実施した。
• Lending Clubデータセット上で複数の機械学習モデル（ロジスティック回帰、ランダムフォレスト、SVM）を学習し、その予測結果を説明ツールの入力とした。
• 特徴量の影響を分析するためにALE（累積局所効果）プロットを用い、可視化と安定性のチェックを通じて区間サイズを選定した。
• Kernel Explainer用の代表的バックグラウンドデータセットを生成するため、20,000点のサブサンプルに対してk-meansクラスタリングを実施し、SHAP計算を最適化した。
• モデル互換性の問題に対処するため、GridSearchCVで最良のモデルをスタンドアロン推定器として再訓練し、LIME統合を可能にした。

実験結果

リサーチクエスチョン

• RQ1 LIMEおよびSHAPは、金融的論理と整合する形で、機械学習ベースの信用スコーリングモデルの予測をどのように説明するのか？
• RQ2 LIMEおよびSHAPが特定する上位特徴量は、異なるデータサンプルサイズにおいてどの程度安定しているか？
• RQ3 実際の金融機械学習パイプラインに後処理説明技術を導入する際の実用的課題は何か？
• RQ4 異なるSHAP説明ツールおよびカーネル設定は、特徴量の重要度プロットの解釈可能性と一貫性にどのように影響するか？
• RQ5 説明可能なAI技術は、GDPRなどの規制要件を満たしつつ、信用リスク管理における機械学習モデルの信頼性と採用を向上させることができるか？

主な発見

• LIMEおよびSHAPは、金融的直感と整合する一貫性があり、解釈可能な説明を生成した。例えば、支払総額の増加はデフォルトリスクの低下を示唆する。
• テストセットサイズが変化しても、信用リスクに影響を与える上位20の特徴量の順位が安定しており、モデルの特徴量重要度ランキングに対する信頼性が向上した。
• SHAP値は特徴量の影響を的確に捉えており、'total_pymnt'（支払総額）特徴量では、支払額が0から40,000に増加するに従い、予測スコアが0.65ポイント低下した。
• 'total_rec_int'（支払済み利息総額）特徴量は、高リスクと分類される可能性を高めることが判明し、利息回収額の増加がリスクと関連していることを示唆した。
• 計算負荷は高く、特にSHAPのKernel Explainerでは、実行時間を短縮するため、サンプリング（2,000テストポイント）とバックグラウンドデータ近似（30個のk-means重心）を実施した。
• SVMの確率推定や説明ツールとの互換性といった、モデル固有の課題は、丁寧な前処理とモデルの再訓練により解決された。