[論文レビュー] Optimal Counterfactual Explanations for Scorecard modelling

Guillermo Navas-Palencia|arXiv (Cornell University)|Apr 17, 2021

Forecasting Techniques and Applications参考文献 14被引用数 6

ひとこと要約

本稿では、金融分野のスコアカードモデルにおける最適で多様な対向説明を生成するための混合整数プログラミング定式化を提案する。多目的最適化を用いて近接性、スパarsity（スパarsity）、現実性のバランスを図る。CP-SATを用いることで、数秒で高品質な対向説明を効率的に生成可能であり、不可能性証明と実世界のデータセットにおける優れた性能を示す。

ABSTRACT

Counterfactual explanations is one of the post-hoc methods used to provide explainability to machine learning models that have been attracting attention in recent years. Most examples in the literature, address the problem of generating post-hoc explanations for black-box machine learning models after the rejection of a loan application. In contrast, in this work, we investigate mathematical programming formulations for scorecard models, a type of interpretable model predominant within the banking industry for lending. The proposed mixed-integer programming formulations combine objective functions to ensure close, realistic and sparse counterfactuals using multi-objective optimization techniques for a binary, probability or continuous outcome. Moreover, we extend these formulations to generate multiple optimal counterfactuals simultaneously while guaranteeing diversity. Experiments on two real-world datasets confirm that the presented approach can generate optimal diverse counterfactuals addressing desired properties with assumable CPU times for practice use.

研究の動機と目的

• バンクイングおよび金融分野で使用される解釈可能性の高いスコアカードモデルに特化した最適化ベースの対向説明手法の不足を是正すること。
• 近接性、スパarsity（特徴量変更制限Θを介して）、現実性（特徴量値制約を介して）、多様性といった重要な特性を満たす対向説明を生成する数学的プログラミング定式化を開発すること。
• 複数の多様な対向説明を同時に生成しつつも、多目的基準に基づき最適性を保証する定式化を拡張すること。
• 実用的でスケーラブルなソリューションを提供し、不可能性証明と実世界への展開に適した計算時間の妥当性を確保すること。

提案手法

• 入力と対向説明の間の距離関数を最小化する混合整数計画問題として対向説明生成を定式化し、スコアカードモデルを介して望ましい結果を達成する制約を課す。
• 重み付きまたは階層的な多目的戦略を用いて、近接性、スパarsity（特徴量変更制限Θを介して）、近接性（特徴量値制約を介して）の複数の目的を統合する。
• 特徴量値（FV）および特徴量変更（F）に対するハード制約を導入することで、変数変更の異なる組み合わせを保証し、複数の対向説明の多様性を強制する。
• 最適化問題を効率的に解くためにCP-SATソルバを用い、高速な計算と不可能性検出を可能にする。
• MIPソルバと互換性のある区分線形近似を用いて、スコアカードの出力を二値、確率、連続値としてモデル化する。
• 非行動可能特徴量（例：性別、人種）を変更対象から除外することで、行動可能制約を統合し、実用的妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 混合整数プログラミング定式化は、金融分野のスコアカードモデルに対して、最適で多様かつ現実的な対向説明を生成できるか？
• RQ2 対向説明生成において、近接性、スパarsity、近接性の目的はどのようにトレードオフするのか。また、これらを最もよくバランスさせる多目的戦略は何か？
• RQ3 実用的制約下で、複数の多様な対向説明を同時に生成する際の計算性能はいかがなものか？
• RQ4 本手法は、不可能となる対向説明シナリオをどれほど効果的に検出できるか。また、不可能性に影響を与える要因は何か？

主な発見

• CP-SATを用いることで、1つのデータポイントに対して最適で多様な対向説明を4秒未塔で生成可能であり、複数の設定でも安定した結果が得られた。
• 行動可能特徴量および多様性に関する制約が厳しすぎる場合、不可能状態は0.8秒以内に迅速に検出された。これにより、本手法が不可能状態を証明可能であることが裏付けられた。
• K=5およびΘ=5の場合、予測確率が0.502から0.526の範囲に収まる妥当な対向説明が生成された。これは、出力制御の一貫性を示している。
• 近接性の目的を除外した場合、特徴量値の変更幅が大きくなった。これは、近接性の目的が現実性と実用性を向上させることを確認している。
• 本手法は、性別や人種といった非行動可能特徴量の変更を効果的に回避しており、倫理的かつ実用的な妥当性を確保している。
• 重み付きアプローチに多様性制約（F + FV）を組み合わせた場合、Adult-Incomeデータセットに対して4つの異なる対向説明が得られ、行動可能特徴量への最小限で現実的な変更がなされた。