[論文レビュー] A Holistic Approach to Interpretability in Financial Lending: Models, Visualizations, and Summary-Explanations

Chaofan Chen, Kangcheng Lin+4 more|arXiv (Cornell University)|Jun 4, 2021

Explainable Artificial Intelligence (XAI)参考文献 28被引用数 11

ひとこと要約

本論文は、2段階の加法的リスクモデルを用いた包括的で透明性のある枠組みを提案し、全体として解釈可能な金融貸付意思決定を実現する。インタラクティブな可視化と、ケースベース、特徴量重要度、要約説明の複数の説明タイプを備える。このアプローチは高い予測精度を達成しながらも、完全な透明性を維持し、ブラックボックスモデルに比べて解釈可能性に優れ、性能の妥協なしに実現可能である。

ABSTRACT

Lending decisions are usually made with proprietary models that provide minimally acceptable explanations to users. In a future world without such secrecy, what decision support tools would one want to use for justified lending decisions? This question is timely, since the economy has dramatically shifted due to a pandemic, and a massive number of new loans will be necessary in the short term. We propose a framework for such decisions, including a globally interpretable machine learning model, an interactive visualization of it, and several types of summaries and explanations for any given decision. The machine learning model is a two-layer additive risk model, which resembles a two-layer neural network, but is decomposable into subscales. In this model, each node in the first (hidden) layer represents a meaningful subscale model, and all of the nonlinearities are transparent. Our online visualization tool allows exploration of this model, showing precisely how it came to its conclusion. We provide three types of explanations that are simpler than, but consistent with, the global model: case-based reasoning explanations that use neighboring past cases, a set of features that were the most important for the model's prediction, and summary-explanations that provide a customized sparse explanation for any particular lending decision made by the model. Our framework earned the FICO recognition award for the Explainable Machine Learning Challenge, which was the first public challenge in the domain of explainable machine learning.

研究の動機と目的

• 金融貸付で用いられる現在の特許権の信用スコアリングモデルにおける透明性と一貫性の欠如に対処すること。
• 後から説明する手法に依存せずに、貸付意思決定の完全な解釈可能性を可能にする意思決定支援システムを開発すること。
• 意味のあるサブスケールと特徴量とリスクの単調性関係を保持する、全体として解釈可能な機械学習モデルを構築すること。
• 一貫した複数の説明タイプ（ケースベース、特徴量ベース、要約説明）を、グローバルモデルの論理と整合させる。
• 解釈可能性を犠牲にすることなく、ブラックボックスモデルと同等の性能を達成できる解釈可能なモデルが実現可能であることを示すこと。これは、解釈可能性と精度のトレードオフという仮定に挑戦する。

提案手法

• 意味のあるサブスケールに分解できる2段階の加法的リスクモデルを設計し、各サブスケールが関連する金融的特徴量のグループを表し、解釈可能な非線形性を持つようにする。
• すべてのモデル要素が透明で計算可能であるグローバルに解釈可能な構造を採用し、局所的説明とグローバル論理の整合性を保証する。
• 全モデル計算を表示し、主要な寄与特徴量とサブスケールを強調する、インタラクティブなオンライン可視化ツールを実装する。
• 類似した過去のローン申請例を特定することで、ケースベースの説明を生成する。これらの申請は、同等のリスクプロファイルを持つ。
• グローバルモデル感度分析を用いて、最も重要な特徴量とサブスケールを同定し、モデルの内部論理と整合させる。
• OptConsistentRule手法を用いて要約説明を生成し、グローバルモデルを歪めることなく、スパースで一貫性があり、データ駆動型のモデル行動要約を提供する。

実験結果

リサーチクエスチョン

• RQ1 金融貸付に適用可能な、高い予測精度を維持しながら完全な透明性を確保する、グローバルに解釈可能な機械学習モデルを構築できるか？
• RQ2 1つのグローバルモデルから、矛盾のない一貫した複数の説明タイプ（ケースベース、特徴量ベース、要約説明）をどのように導出できるか？
• RQ3 ブラックボックスモデルと比較した場合、モデル性能を犠牲にすることなく、どの程度まで解釈可能性を達成できるか？
• RQ4 インタラクティブな可視化は、根本的な論理を単純化または歪めることなく、ユーザーのモデル意思決定理解を向上させることができるか？
• RQ5 欠損データは、透明性を損なわず、バイアスを導入せず、解釈可能なモデルでどのように処理できるか？

主な発見

• 提案された2段階の加法的リスクモデルは、FICO説明可能な機械学習チャレンジデータセットで競争力のある予測性能を達成し、解釈可能性が精度の犠牲を伴うものではないことを示した。
• グローバルな解釈可能性のおかげで、複数のフォーマットにわたる一貫した、矛盾のない説明が可能となり、後から説明する手法にありがちな問題を解消した。
• インタラクティブな可視化ツールにより、ユーザーはモデルの推論を段階的に探索でき、各サブスケールと特徴量が最終意思決定にどのように寄与したかを明らかにした。
• OptConsistentRuleを用いて生成された要約説明は、スパースであり、グローバルモデルと一貫しており、モデルを歪めることなく、有用な高レベルのインサイトを提供した。
• モデルは自然に、クレジット利用度や延滞履歴といった重要なリスク要因を同定し、分野の知識と規制要件と整合した。
• このフレームワークはFICO顕彰賞を受賞し、説明可能なAI分野における革新性と実用的妥当性が裏付けられた。