[論文レビュー] FOCUS: Flexible Optimizable Counterfactual Explanations for Tree Ensembles

Ana Lučić, Harrie Oosterhuis+2 more|arXiv (Cornell University)|Nov 27, 2019

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

FOCUSは、非微分可能な木アンサンブルモデルにおける対向説明の生成のための勾配ベース最適化フレームワークを提案する。非微分可能な木構造の微分可能近似を導入することで、従来の手法よりも元のインスタンスにはるかに近い対向例を生成し、すべての入力インスタンスに対して効果的で効率的かつ信頼性のある説明を可能にする。

ABSTRACT

Model interpretability has become an important problem in machine learning (ML) due to the increased effect that algorithmic decisions have on humans. Counterfactual explanations can help users understand not only why ML models make certain decisions, but also how these decisions can be changed. We frame the problem of finding counterfactual explanations as a gradient-based optimization task and extend previous work that could only be applied to differentiable models. In order to accommodate non-differentiable models such as tree ensembles, we use probabilistic model approximations in the optimization framework. We introduce an approximation technique that is effective for finding counterfactual explanations for predictions of the original model and show that our counterfactual examples are significantly closer to the original instances than those produced by other methods specifically designed for tree ensembles.

研究の動機と目的

• 非微分可能な木アンサンブルモデルに対する効果的でスケーラブルな対向説明手法の不足に応えること。
• ランダムフォレストや勾配ブースティングマシンのようなモデルにおける、勾配ベース最適化による対向生成を可能にすること。
• 元の入力から最小限に変更されたままモデルの予測を変える対向例を生成すること。
• ヒューリスティックサーチベースのアプローチに見られる制限を克服し、データセット内のすべてのインスタンスを説明可能にすること。
• 現実世界の特徴トレンドやユーザーの文脈と整合する、実行可能で解釈可能な説明を提供すること。

提案手法

• 各木のスプリットを、スプリット閾値を中心とするシグモイド関数で近似することで、微分可能性を実現する。
• アンサンブルのmax演算子をソフトマックスに置き換えることで、モデル出力全体の微分可能近似を構築する。
• 所定の距離尺度のもとで摂動を最小化するように、勾配ベース最適化問題として対向生成を定式化する。
• 微分可能サロゲートモデルを用いて勾配を計算し、予測を変更するにあたり最小限の変更で入力特徴を最適化する。
• L2、L1、またはカスタム距離関数などの柔軟な距離関数をサポートし、特定のユースケースに合わせた対向例の生成を可能にする。
• 生成された対向例が現実的な特徴範囲内にあり、分野の期待に一致することを保証するための妥当性検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 非微分可能な木アンサンブルモデルに対して、勾配ベース最適化を対向説明に効果的に適用できるか？
• RQ2 FOCUSが生成する対向例は、従来のヒューリスティック手法と比較して、元のインスタンスにどの程度近いか？
• RQ3 FOCUSは、従来のアプローチとは異なり、データセット内のすべてのインスタンスに対して有効な対向説明を生成できるか？
• RQ4 FOCUSにおける提案された特徴変更は、分野の知識や現実世界の実現可能性とどの程度整合しているか？
• RQ5 FOCUSにおける距離関数の柔軟性は、対向説明の実用性とユーザー関連性を向上させるか？

主な発見

• FOCUSは、3つの評価指標において、ベースライン手法と比較して、元の入力インスタンスにはるかに近い対向例を生成する。
• 近接性において優れたパフォーマンスを達成しており、テストされたすべてのデータセットとモデルタイプで一貫した改善が観察された。
• FOCUSは、ヒューリスティック手法が一部の入力で失敗するのとは異なり、データセット内のすべてのインスタンスに対して有効な対向説明を生成できた。
• 対向例の提案は分野知識と整合しており、例としてNetFractionRevolvingBurdenの低下とExternalRiskEstimateの上昇が示され、現実的で意味のある変更であることが裏付けられた。
• 微分可能近似のおかげで効率的な最適化が可能となり、全探索ベースのベースラインと比較して、より大きな木アンサンブルモデルにもスケーラブルに適用可能となった。
• 距離関数の柔軟性により、ユーザーのニーズや制約に応じた対向例のカスタマイズが可能となり、実用性が向上した。