[論文レビュー] An exact counterfactual-example-based approach to tree-ensemble models interpretability

Pierre Blanchart|arXiv (Cornell University)|May 31, 2021

Explainable Artificial Intelligence (XAI)参考文献 26被引用数 6

ひとこと要約

本稿では、XGBoost や LightGBM などの木アンサンブルモデルの対応要因説明を、正確な多次元区間によって特徴づける幾何学的アプローチを提案する。この手法により、意思決定領域を正確に特定し、最適な対応要因を正確に計算可能となる。特徴量の部分集合に対する制約をサポートし、回帰問題への自然な拡張が可能であり、故障検出などの高リスク分野における解釈可能で実行可能なインサイトを提供する。

ABSTRACT

Explaining the decisions of machine learning models is becoming a necessity in many areas where trust in ML models decision is key to their accreditation/adoption. The ability to explain models decisions also allows to provide diagnosis in addition to the model decision, which is highly valuable in scenarios such as fault detection. Unfortunately, high-performance models do not exhibit the necessary transparency to make their decisions fully understandable. And the black-boxes approaches, which are used to explain such model decisions, suffer from a lack of accuracy in tracing back the exact cause of a model decision regarding a given input. Indeed, they do not have the ability to explicitly describe the decision regions of the model around that input, which is necessary to determine what influences the model towards one decision or the other. We thus asked ourselves the question: is there a category of high-performance models among the ones currently used for which we could explicitly and exactly characterise the decision regions in the input feature space using a geometrical characterisation? Surprisingly we came out with a positive answer for any model that enters the category of tree ensemble models, which encompasses a wide range of high-performance models such as XGBoost, LightGBM, random forests ... We could derive an exact geometrical characterisation of their decision regions under the form of a collection of multidimensional intervals. This characterisation makes it straightforward to compute the optimal counterfactual (CF) example associated with a query point. We demonstrate several possibilities of the approach, such as computing the CF example based only on a subset of features. This allows to obtain more plausible explanations by adding prior knowledge about which variables the user can control. An adaptation to CF reasoning on regression problems is also envisaged.

研究の動機と目的

• 産業的故障検出および異常検出に用いられる高性能な木アンサンブルモデルに対して、正確で正確な説明が不足している問題に対処すること。
• 入力空間における多次元区間を用いて意思決定領域を明示的に特徴づける手法を開発し、正確な対応要因推論を可能にすること。
• ユーザーが制御可能な特徴量の制約や部分的対応要因をサポートすることで、現実世界のシナリオにおける妥当性と解釈可能性を向上させること。
• 木アンサンブルを用いて外部変数と目的変数の関係を忠実にモデル化することで、回帰問題へのアプローチを拡張すること。

提案手法

• 木アンサンブルモデルの意思決定領域を、入力空間における多次元区間（ボックス）の集合として正確に幾何学的に特徴づける。
• 特徴量空間の再帰的制限を、交差ボックスを用いて実施し、次元ごとに最大のカバー範囲と非交差性を維持する。
• 意思決定領域内での最小入力摂動を特定することで、モデルの予測を変更する最適な対応要因例を構築する。
• 非制御可能な特徴量の値を固定することで、特徴量ごとの制約を適用し、妥当性を向上させる。
• 木の各レベルにおける親子関係を用いた再帰的分解により、特徴量区間を正しくかつ完全に保証する。
• 回帰問題への拡張として、予測値をユーザーが定義した目的の区間にシフトさせる対応要因を定義し、モデルの忠実性を保持する。

実験結果

リサーチクエスチョン

• RQ1 木アンサンブルモデルの意思決定領域は、入力空間における幾何的区間を用いて正確に特徴づけられるか？
• RQ2 この幾何的特徴づけを用いて、最適な対応要因例を正確かつ効率的に計算できるか？
• RQ3 ユーザーが定義した特徴量の制約（例：変更不可変数）を満たす対応要因をサポートできるか？
• RQ4 予測値を希望する区間にシフトさせる対応要因を定義することで、回帰問題への応用が可能か？
• RQ5 近似のブラックボックス対応要因手法と比較して、より妥当性があり実行可能な説明を提供するか？

主な発見

• 本手法は、互いに非交差かつ最大の多次元区間として、木アンサンブルモデルの意思決定領域を正確に幾何学的に特徴づける。
• 意思決定領域内での最小摂動を特定することで、モデルの予測を変更する最適な対応要因例を正確に計算する。
• 非制御可能な特徴量の値を固定することで、制約付き対応要因をサポートし、より現実的で実行可能な説明を実現する。
• 再帰的分解および区間の交差性の性質を用いて、形式的に正しさと完全性が保証される。
• 目的変数の指定された区間に予測値をシフトさせる対応要因を定義することで、回帰問題への自然な拡張が可能である。
• 本手法により、任意の入力に対するモデル出力に影響を与える意思決定境界を明示的に明らかにでき、包括的な診断的インサイトを提供する。