[論文レビュー] Robust Counterfactual Explanations for Tree-Based Ensembles

Sanghamitra Dutta, Jason Long+3 more|arXiv (Cornell University)|Jul 6, 2022

Explainable Artificial Intelligence (XAI)被引用数 8

ひとこと要約

本稿では、XGBoostのような木構造アンサンブルにおける対応的説明の耐性を向上させるための後処理フレームワークであるRobXを提案する。本手法は、モデル再訓練に対する耐性を定量化する新しい指標「対応的安定性」を活用しており、任意のベース手法が生成する対応的説明を反復的に最適化することで、モデル変更後でもほぼ100％の妥当性を達成するとともに、現実的で低コストの摂動を維持する。

ABSTRACT

Counterfactual explanations inform ways to achieve a desired outcome from a machine learning model. However, such explanations are not robust to certain real-world changes in the underlying model (e.g., retraining the model, changing hyperparameters, etc.), questioning their reliability in several applications, e.g., credit lending. In this work, we propose a novel strategy -- that we call RobX -- to generate robust counterfactuals for tree-based ensembles, e.g., XGBoost. Tree-based ensembles pose additional challenges in robust counterfactual generation, e.g., they have a non-smooth and non-differentiable objective function, and they can change a lot in the parameter space under retraining on very similar data. We first introduce a novel metric -- that we call Counterfactual Stability -- that attempts to quantify how robust a counterfactual is going to be to model changes under retraining, and comes with desirable theoretical properties. Our proposed strategy RobX works with any counterfactual generation method (base method) and searches for robust counterfactuals by iteratively refining the counterfactual generated by the base method using our metric Counterfactual Stability. We compare the performance of RobX with popular counterfactual generation methods (for tree-based ensembles) across benchmark datasets. The results demonstrate that our strategy generates counterfactuals that are significantly more robust (nearly 100% validity after actual model changes) and also realistic (in terms of local outlier factor) over existing state-of-the-art methods.

研究の動機と目的

• 木構造アンサンブルにおける既存の対応的説明が、モデル再訓練やハイパーパramータの変更によって無効化されやすいという耐性の欠如を解消すること。
• XGBoostのような滑らかで微分不能なモデルにおいても、モデル摂動下での対応的説明の安定性を定量化すること。
• 現実性やコストを損なわず、モデル更新に対しても有効性を保つ後処理戦略を構築し、対応的説明がモデル更新後も有効であることを保証すること。
• モデル変更に伴う対応的説明の無効化確率に対する理論的保証を提供し、クレジット貸付などのハイリスク分野における信頼性を向上させること。

提案手法

• モデル再訓練における有効性の維持確率を測定する新しい指標「対応的安定性 $ R_{\tilde{\theta}}(x, M) $」を導入し、パラメータ空間における安定性を定量化する。
• 意思決定境界の反対側に位置し、かつ最小安定性閾値 $ R_{\tilde{\theta}}(x, M) \\geq \tau $ を満たす、データセット内での最近傍点を「保守的対応的説明」と定義し、理論的耐性保証を提供する。
• 任意のベース対応的説明（例：FT, FOCUS, NN, FACE）を反復的に改善する後処理アルゴリズムであるRobXを提案し、$ L_1 $ や $ L_2 $ のコストを最小化しながら保守的対応的説明に近づける。
• 安定性に基づく反復的改善ループを採用し、現在の対応的説明が $ R_{\tilde{\theta}}(x, M) \geq \tau $ 条件を満たすかをチェックすることで、段階的改善による耐性確保を実現する。
• 現実性を保証するため、局所的外れ値要因（LOF）を用いて、修正された対応的説明がデータ多様体に近い位置に保たれることを確保し、外れ値的摂動を回避する。
• ベンチマークデータセット（HELOC, German Credit）を用い、最先端のベース手法や、モデル閾値 $ \gamma $ を増加させる代替戦略と比較して手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで微分不能な木構造アンサンブルにおいて、モデル再訓練に対する対応的説明の耐性をどのように定量化できるか？
• RQ2 コストを増加させず、現実性を損なわず、既存の対応的説明生成手法の耐性を向上させる後処理フレームワークを設計可能か？
• RQ3 モデル変更に伴う対応的説明の無効化確率に対する理論的保証は何か、実際の応用でどのように活用できるか？
• RQ4 RobXの性能は、ベースライン手法や代替の耐性向上戦略（例：モデル閾値 $ \gamma $ の増加）と比較して、妥当性、コスト、現実性の観点でどのように異なるか？

主な発見

• RobXは複数のデータセットでモデル再訓練後もほぼ100％の妥当性を達成し、FOCUS や FT、NN といったベース手法が65.7％まで低下するのに対し、顕著に優れている。
• HELOCデータセットでは、$ \gamma = 0.8 $ のFOCUSで83.9％の妥当性を達成したが、RobXを適用すると98.0％まで上昇し、$ L_1 $ コストも0.74から2.20へわずかに増加したにとどまる。
• German Creditデータセットでは、ベースFOCUSの妥当性65.7％がRobXで96.5％まで上昇し、コスト増加も最小限に抑えられた。$ \gamma = 0.99 $ 時に100％の妥当性を達成したのに対し、ベースFOCUSでは97.7％にとどまった。
• FACE（データ多様体に基づく手法）に対しても、RobXは耐性とコストの両方を改善し、$ L_1 $ コストはわずかに増加したがLOFはわずかに向上し、現実性の向上が示された。
• モデル閾値 $ \gamma $ を増加させて耐性を向上させる戦略は、現実性が低く（LOFが低い）、計算時間が長く、場合によっては対応的説明が全く見つからないなど、実用的でないことが判明した。
• RobXが生成する対応的説明は、$ L_1 $ および $ L_2 $ コストが低く抑えられ（平均で1.0～1.5単位の増加）、ほぼ完璧な妥当性を達成しており、優れたトレードオフの改善が示された。