[論文レビュー] Explaining Credit Risk Scoring through Feature Contribution Alignment with Expert Risk Analysts

Ayoub El Qadi, Natalia Díaz-Rodríguez+2 more|arXiv (Cornell University)|Mar 15, 2021

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本稿では、解釈可能性を確保するため、SHAPを用いて機械学習モデルの解釈をリスクアナリストの専門的判断と一致させることで、信用リスクスコアリングのハイブリッドアプローチを提案する。XGBoostはAUC 0.7466を達成し、長期的な収益性をより良く捉えているが、専門家とは対照的に収益性を最重要特徴量として評価しており、金融意思決定におけるモデルの信頼性を損なう顕著な特徴量重要度の不一致を示している。

ABSTRACT

Credit assessments activities are essential for financial institutions and allow the global economy to grow. Building robust, solid and accurate models that estimate the probability of a default of a company is mandatory for credit insurance companies, moreover when it comes to bridging the trade finance gap. Automating the risk assessment process will allow credit risk experts to reduce their workload and focus on the critical and complex cases, as well as to improve the loan approval process by reducing the time to process the application. The recent developments in Artificial Intelligence are offering new powerful opportunities. However, most AI techniques are labelled as blackbox models due to their lack of explainability. For both users and regulators, in order to deploy such technologies at scale, being able to understand the model logic is a must to grant accurate and ethical decision making. In this study, we focus on companies credit scoring and we benchmark different machine learning models. The aim is to build a model to predict whether a company will experience financial problems in a given time horizon. We address the black box problem using eXplainable Artificial Techniques in particular, post-hoc explanations using SHapley Additive exPlanations. We bring light by providing an expert-aligned feature relevance score highlighting the disagreement between a credit risk expert and a model feature attribution explanation in order to better quantify the convergence towards a better human-aligned decision making.

研究の動機と目的

• 欧州の財務データを用いて、1年以内の企業デフォルトを予測する強固な機械学習モデルの開発を目的とする。
• 解釈可能性の課題に取り組むために、SHAPに基づく後処理解釈を適用し、透明性と信頼性を向上させる。
• 機械学習の特徴量寄与度と専門家リスクアナリストの判断との一致を定量化し、特徴量の関連性に関する乖離を同定する。
• 機械学習モデルが高リスクの金融意思決定文脈において人間の専門知識とより一致するようにできるかを評価する。
• 専門知識を機械学習モデルに統合することで、信用リスク評価における性能と人間とAIの合意を向上させられるかを検討する。

提案手法

• 本研究では、フランスを主な対象地域とする約10万件の欧州企業のデータセットを用い、1年間の期間における財務レシオとデフォルト指標を分析した。
• XGBoost、勾配ブースティング、ロジスティック回帰などの複数の機械学習モデルを用いてデフォルト予測性能をベンチマークした。
• クラス不均衡の影響を軽減するためにデータリサンプリング技術を適用し、再現率を最大20%向上させた。
• SHAP（SHapley Additive exPlanations）を用いて後処理特徴量寄与度を生成し、個々の予測における各特徴量の寄与度を定量化した。
• モデルの確率値を、既存の企業スコアカードシステムに準拠した標準化されたリスクスコア（A–E）に変換し、専門家評価と直接比較可能にした。
• 信用リスクアナリストのパネルから専門的判断を収集し、SHAPで導かれた特徴量重要度順位と照合した。

実験結果

リサーチクエスチョン

• RQ1 XGBoostを含む機械学習モデルは、極めて不均衡な欧州データセットにおいて、企業デフォルトをどれほど正確に予測できるか？
• RQ2 SHAPに基づく特徴量寄与度は、信用リスクアナリストが企業デフォルトリスクを評価する専門的知識とどの程度一致するか？
• RQ3 機械学習モデルが特定した最重要特徴量と、人間の専門家が関連性があるとみなす特徴量との間で、どのような主な乖離が生じているか？
• RQ4 なぜXGBoostモデルは、専門家アナリストが無関係とみなす収益性（R3）を高い重要度に設定しているのか？
• RQ5 専門知識をモデル設計やデータアノテーションに統合することで、人間の判断との整合性を高め、AI駆動の信用スコアリングにおける信頼性を向上させられるか？

主な発見

• XGBoostモデルはAUC 0.7466、正答率95.39％を達成し、他のモデルを上回るデフォルト予測性能を示した。
• データリサンプリング技術により、再現率が最大20%向上した。これは、クラス不均衡がモデル性能に顕著に影響することを示している。
• XGBoostモデルは収益性（R3）をデフォルト予測の最重要特徴量として特定したが、専門家アナリストはこれを無関係とみなしていた。
• 専門家は短期的な流動性レシオ（R1およびR2）に注目したのに対し、機械学習モデルは長期的で企業全体の属性（収益性、バランスシートの強度）を重視した。
• モデルはイギリスの企業が低いデフォルトリスクを持つことを独立して学習しており、これはTinubuスコアカードに事前に組み込まれた地域的リスクパターンと一致しており、顕在的かつ一貫性のある地域リスクパターンを示している。
• 特に収益性の評価において、専門家とモデルの特徴量重要度に顕著な不一致が生じており、機械学習モデル設計における専門家によるインダクティブバイアスの統合が不可欠であることを示唆している。