[論文レビュー] Automatic Relevance Determination Bayesian Neural Networks for Credit Card Default Modelling

Rendani Mbuvha, Ilyes Boulkaibet+1 more|arXiv (Cornell University)|Jun 14, 2019

Financial Distress and Bankruptcy Prediction被引用数 4

ひとこと要約

本稿では、信用リスク予測のためのベイジアンニューラルネットワーク（BNNs）に自動関連性決定（ARD）を組み合わせ、ガウス近似とハイブリッドモンテカルロ（HMC）推論を用いて、信用カードの延滞予測を提案する。結果として、ARD-BNNsは標準的なBNNsを著しく上回り、HMC-ARDはやや優れた偽陰性の制御を示し、両手法とも、規制適合性に不可欠な、堅牢で解釈可能な特徴量重要度の順序付けを提供する。

ABSTRACT

Credit risk modelling is an integral part of the global financial system. While there has been great attention paid to neural network models for credit default prediction, such models often lack the required interpretation mechanisms and measures of the uncertainty around their predictions. This work develops and compares Bayesian Neural Networks(BNNs) for credit card default modelling. This includes a BNNs trained by Gaussian approximation and the first implementation of BNNs trained by Hybrid Monte Carlo(HMC) in credit risk modelling. The results on the Taiwan Credit Dataset show that BNNs with Automatic Relevance Determination(ARD) outperform normal BNNs without ARD. The results also show that BNNs trained by Gaussian approximation display similar predictive performance to those trained by the HMC. The results further show that BNN with ARD can be used to draw inferences about the relative importance of different features thus critically aiding decision makers in explaining model output to consumers. The robustness of this result is reinforced by high levels of congruence between the features identified as important using the two different approaches for training BNNs.

研究の動機と目的

• 従来のニューラルネットワークでは解釈性や不確実性の定量化に欠けるため、これを是正すること。
• 自動関連性決定（ARD）を用いて特徴量の重要度を推定可能なベイジアンニューラルネットワーク（BNNs）の開発。
• 信用延滞予測の文脈において、ガウス近似とハイブリッドモンテカルロ（HMC）の2つのベイジアン推論手法を比較すること。
• ARD-BNNsがモデルの透明性を向上させ、GDPRの「説明の権利」のような規制適合性を支援できるかどうかを評価すること。
• 実世界の信用データを用いて、ARD-BNNsの頑健性と予測性能を評価すること。

提案手法

• 信用延滞確率を不確実性の定量化とともにモデル化するため、ベイジアンニューラルネットワーク（BNNs）を採用する。
• 重み事前分布の逆分散パラメータを学習することで、入力特徴量の相対的重要度を推定するため、自動関連性決定（ARD）を適用する。
• 高速なトレーニングと不確実性推定を可能にするために、BNNsにおける近似ベイジアン推論にガウス近似を用いる。
• 理論的頑健性を高めるために、正確な事後分布サンプリングを実現するため、ハイブリッドモンテカルロ（HMC）を実装する。
• 70:30のトレーニング・テスト分割を用いて、台湾信用カードデータセット上でモデルをトレーニングおよび評価する。
• AUCと混同行列を用いて性能を評価し、信用リスクに関連する偽陰性率に特に注目する。

実験結果

リサーチクエスチョン

• RQ1 自動関連性決定（ARD）を組み合わせたベイジアンニューラルネットワーク（ARD-BNNs）は、標準的なニューラルネットワークと比較して、信用延滞モデルにおける解釈性を向上させることができるか？
• RQ2 信用リスク分野におけるARD-BNNsにおいて、ガウス近似とハイブリッドモンテカルロ（HMC）推論の予測性能と不確実性推定の観点から、どのように比較されるか？
• RQ3 ARD-BNNsは、異なる推論手法間で一貫性があり、頑健な特徴量重要度順序付けを識別できるか？
• RQ4 BNNsにARDを組み込むことで、一般化性能が向上し、偽陰性率が低下するか？
• RQ5 実世界の信用データにおいて、HMC-ARDはガウス近似に比べてより信頼性の高い不確実性推定と特徴量重要度を提供できるか？

主な発見

• HMCを用いてトレーニングしたARD-BNNsはAUC 0.7783を達成し、HMC-MLPベースライン（AUC 0.7079）を上回り、モデルの正確性向上にARDの有効性を示した。
• ガウス近似を用いたARDモデルはAUC 0.7753を達成し、計算コストが低いにもかかわらず、HMC-ARDと同等の予測性能を示した。
• HMC-ARDは偽陰性数が331と、ガウス近似-ARDの355に比べてわずかに少ないことを確認し、高コストな延滞誤分類の制御が優れていることを示した。
• 両ARDBNNsとも、PAY0（6か月前の支払状況）を最も重要な特徴量として特定し、PAY3、LIMIT BAL、PAY AMT2といった主要な予測因子についても強い合意を得た。
• HMC-ARDモデルは教育水準が関連する予測因子であることも同定した。また、事後分散のヒートマップにより、両推論手法間で一貫した特徴量重要度順序付けが確認された。
• HMC-ARDとガウス近似-ARDの間で特徴量重要度の高い一致が確認されたことから、ARDに基づく特徴量選択の頑健性が裏付けられ、モデル解釈に有効であることが示された。