[論文レビュー] PermuteAttack: Counterfactual Explanation of Machine Learning Credit Scorecards

Masoud Hashemi, Ali Fathi|arXiv (Cornell University)|Aug 24, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用数 30

ひとこと要約

PermuteAttackを導入した、勾配なしの遺伝的アルゴリズム手法で、表形式のクレジットスコアリングモデルの現実的な反事実を生成し、インスタンスレベルの説明とモデル批評を可能にする。

ABSTRACT

This paper is a note on new directions and methodologies for validation and explanation of Machine Learning (ML) models employed for retail credit scoring in finance. Our proposed framework draws motivation from the field of Artificial Intelligence (AI) security and adversarial ML where the need for certifying the performance of the ML algorithms in the face of their overwhelming complexity poses a need for rethinking the traditional notions of model architecture selection, sensitivity analysis and stress testing. Our point of view is that the phenomenon of adversarial perturbations when detached from the AI security domain, has purely algorithmic roots and fall within the scope of model risk assessment. We propose a model criticism and explanation framework based on adversarially generated counterfactual examples for tabular data. A counterfactual example to a given instance in this context is defined as a synthetically generated data point sampled from the estimated data distribution which is treated differently by a model. The counterfactual examples can be used to provide a black-box instance-level explanation of the model behaviour as well as studying the regions in the input space where the model performance deteriorates. Adversarial example generating algorithms are extensively studied in the image and natural language processing (NLP) domains. However, most financial data come in tabular format and naive application of the existing techniques on this class of datasets generates unrealistic samples. In this paper, we propose a counterfactual example generation method capable of handling tabular data including discrete and categorical variables. Our proposed algorithm uses a gradient-free optimization based on genetic algorithms and therefore is applicable to any classification model.

研究の動機と目的

• 金融分野におけるMLベースの小売クレジットスコアリングのモデル検証と説明の動機づけ。
• 表形式データのブラックボックス反事実生成フレームワークを提案。
• 高次相互作用をモデル化することにより、反事実を現実的で分布内に保つ。
• 特徴量の相互作用とモデル感度を分析するための視覚的・統計的ツールを提供。

提案手法

• 勾配なしの遺伝的アルゴリズム（PermuteAttack）を用い、訓練データから選択した特徴値を置換して反事実を探索する。
• 最小の摂動とターゲットクラス変更を优先する近接度ベースの適合度関数を定義。
• 離散/カテゴリ変数を含む表形式データの妥当性を保つため、微小な加法ノイズではなく置換による特徴量の摂動を行う。
• 置換のための順序付け変換を含むワンホットエンコーディングの処理を適用し、評価用に再変換する。
• 離散化とギブスサンプリングを用いて高次統計を組み込み、現実的な条件付き分布からサンプルを得る。
• 反事実インスタンスを報告し、モデルの決定を説明するために変更された特徴量を強調する。

実験結果

リサーチクエスチョン

• RQ1 tabular credit scoring に対する反事実の説明は、モデルの勾配なしで生成できるのか？
• RQ2 置換ベースの反事実はデータ分布（離散・カテゴリ特徴を含む）を尊重するのか？
• RQ3 予測を反転させるのに必要な典型的な特徴量セットのサイズはどのくらいで、SHAPで特定された重要特徴は摂動頻度とどのように整合するのか？
• RQ4 反事実の説明は、モデルの意思決定に影響を与える特徴間相互作用とどのように関連しているのか？
• RQ5 敏感属性の摂動を分析することで、公平性や差別の信号を明らかにできるのか？

主な発見

• PermuteAttackはGerman Creditデータに対して、 Tested hyperparameters の下で予測を反転させるのに100%の成功率を示した。
• 平均して反転させるために変更が必要だった特徴量は2.35個。
• 最も摂動された特徴量はSHAPの特徴量重要度とよく一致するが、正確な順序は特徴量ごとに異なる。
• 共同変更グラフは特徴量が一緒に摂動される様子を示し、property、credit_history、account_check_statusなどの重要特徴量間に強い相互作用があることを示唆。
• 敏感属性（age、personal_status_sex、foreign_worker）のみを摂動対象とすると成功率は26.25%となり、公平性検討の可能性を示唆。
• 上位のSHAP特徴を除くと、結果を変更するのに必要な平均特徴数が3.7に増加し、翻弄には複数属性依存であることを強調。
• ギブスサンプリングは反事実の現実性を向上させる。現実対反事実を識別する判別器は、ギブスサンプリングを使用した場合（49%の成功）に反事実をより多く検出した（なしの場合は12%）。