[論文レビュー] Interpretable Credit Application Predictions With Counterfactual Explanations

Rory Mc Grath, Luca Costabello+5 more|arXiv (Cornell University)|Nov 13, 2018

Financial Distress and Bankruptcy Prediction被引用数 88

ひとこと要約

本研究は信用判断に対する counterfactual explanations をより解釈可能にするために適用し、承認されたローンの正の counterfactuals を導入し、2つの加重戦略（グローバル特徴重要度と最近傍）を用いてブラックボックスの信用モデル全体でより小さく、より実用的な counterfactuals を生成します。

ABSTRACT

We predict credit applications with off-the-shelf, interchangeable black-box classifiers and we explain single predictions with counterfactual explanations. Counterfactual explanations expose the minimal changes required on the input data to obtain a different result e.g., approved vs rejected application. Despite their effectiveness, counterfactuals are mainly designed for changing an undesired outcome of a prediction i.e. loan rejected. Counterfactuals, however, can be difficult to interpret, especially when a high number of features are involved in the explanation. Our contribution is two-fold: i) we propose positive counterfactuals, i.e. we adapt counterfactual explanations to also explain accepted loan applications, and ii) we propose two weighting strategies to generate more interpretable counterfactuals. Experiments on the HELOC loan applications dataset show that our contribution outperforms the baseline counterfactual generation strategy, by leading to smaller and hence more interpretable counterfactuals.

研究の動機と目的

• ローンが受理された理由と拒否された理由を counterfactuals（正・負の説明）を用いて説明する。
• 特徴の重み付けを通じて counterfactual の複雑さを低減し、解釈性を向上させる。
• 実データセット上で小さく、より実用的な counterfactuals を生成するための重み付け戦略の有効性を実証する。
• パイプラインで使用されるオフ・ザ・シェルフのブラックボックス分類器の予測力を評価する。

提案手法

• 予測モデルをブラックボックスとして扱い、結果を反転させる最小入力変更を見つけるために counterfactual loss を最適化する。
• 入力変更を測るのに inverse MAD で重み付けしたマンハッタン距離を用い、スパースな counterfactuals を促進する。
• Nelder-Mead で反復的に最適化し、望ましい結果への近さを満たすために λ パラメータを調整する。
• ターゲットの結果を意思決定境界に設定して正の counterfactuals を導入し（例：P(y=1)=0.5）、申請者がどれだけ受理されたかを説明する。
• 特徴の変更を重み付けし、よりコンパクトな counterfactuals を生成するための2つの重み付け方式を提案する（ANOVA F-values によるグローバル特徴重要度と K-最近傍法ベース）。」],
• research_questions:[

実験結果

リサーチクエスチョン

• RQ1 正の信用決定（受理されたローン）を安全余裕として説明するために counterfactual explanations をどのように適用できるか。
• RQ2 グローバル特徴重要度と最近傍を含む重み付け戦略は、ベースラインの counterfactuals と比べてより小さく、より解釈可能な counterfactuals を生み出すか。
• RQ3 オフ・ザ・シェルフのブラックボックス分類器は信用予測においてどのように機能し、 counterfactual explanations はそれらの決定とどのように関連するか。

主な発見

• 重み付けされた counterfactuals は平均して説明を小さくし、解釈性を向上させる。
• グローバル特徴重要度を用いた重み付けは、テストしたモデルにおいて baseline よりも counterfactuals を平均して 11.2% 小さくする。
• KNN ベースの重み付けも解釈性を向上させ、報告された結果では baseline より悪化することは決してない。
• 評価されたモデルの中で GradBoost と Logistic Regression は F1 と精度が同等で、HELOC データで F1 は最大で 0.72、精度は最大で 0.74。
• 正の counterfactuals は意思決定境界からの実質的な緩和を提供し、申請者がどれだけ受理されたかを示す。