[論文レビュー] Optimal Counterfactual Explanations in Tree Ensembles

Axel Parmentier, Thibaut Vidal|arXiv (Cornell University)|Jun 11, 2021

Adversarial Robustness in Machine Learning参考文献 29被引用数 8

ひとこと要約

本稿では、決定木アンサンブルにおける最適で実行可能かつ妥当な対応的説明を生成するための混合整数プログラミングフレームワークを提案する。決定経路を対数的二値変数でモデル化し、妥当性を確保するための隔離フォレストを統合する。大規模データセットにおいても最適解を数秒で得られ、従来のヒューリスティック手法に比べ、安定性、解釈可能性、スケーラビリティの面で優れている。

ABSTRACT

Counterfactual explanations are usually generated through heuristics that are sensitive to the search's initial conditions. The absence of guarantees of performance and robustness hinders trustworthiness. In this paper, we take a disciplined approach towards counterfactual explanations for tree ensembles. We advocate for a model-based search aiming at "optimal" explanations and propose efficient mixed-integer programming approaches. We show that isolation forests can be modeled within our framework to focus the search on plausible explanations with a low outlier score. We provide comprehensive coverage of additional constraints that model important objectives, heterogeneous data types, structural constraints on the feature space, along with resource and actionability restrictions. Our experimental analyses demonstrate that the proposed search approach requires a computational effort that is orders of magnitude smaller than previous mathematical programming algorithms. It scales up to large data sets and tree ensembles, where it provides, within seconds, systematic explanations grounded on well-defined models solved to optimality.

研究の動機と目的

• 決定木アンサンブルにおけるヒューリスティックベースの対応的説明の信頼性と頑健性の欠如に対処する。
• 初期条件に敏感で、解の品質に保証がない既存手法の限界を克服する。
• 実行可能性、妥当性、データ型の多様性といった分野固有の制約を統合するスケーラブルで数学的に根拠のあるフレームワークを提供する。
• 大規模データセットおよび複雑なモデルに適した計算効率を備えた、体系的で最適な対応的説明探索を可能にする。
• 特徴空間の高密度領域に注目することで、対応的説明の妥当性を強化するため、隔離フォレストを最適化モデルに統合する。

提案手法

• 木の頂点数に対して対数的数の二値変数を用いて、決定木アンサンブルの意思決定経路をモデル化し、従来手法と比較してモデルサイズを顕著に削減する。
• 対応的説明探索を混合整数線形または二次計画法（MILP/MIQP）として定式化することで、最適性と安定性を保証する。
• 隔離フォレストによる外れ値スコアを制約として統合し、特徴空間の低外れ値スコア・高妥当性領域に制限された対応的説明を実現する。
• 数値、順序、二値、カテゴリカルなデータ型を対応する制約式を別途設計することで、異種のデータ型と斜交分割をサポートする。
• MILPフレームワーク内での線形および論理的制約により、実行可能性および構造的制約を統合する。
• 最新のMIPソルバを活用し、50以上の特徴量と数百本の木を有するデータセットにおいても、1秒未満の解法時間を達成する。

実験結果

リサーチクエスチョン

• RQ1 数学的プログラミングを用いて、解の品質と安定性に関する保証を伴う、決定木アンサンブルにおける最適な対応的説明を生成できるか？
• RQ2 分布的仮定に依存せずに、対応的説明における妥当性を体系的に強制できるか？
• RQ3 隔離フォレストを統合することで、計算効率を維持したまま、対応的説明の妥当性がどの程度向上するか？
• RQ4 提案フレームワークは、大規模データセットおよび複雑な決定木アンサンブルに対してもスケーラブルであり、実世界の導入に実用的か？
• RQ5 実行可能性や特徴空間の構造といった追加制約は、対応的説明の性能と品質にどのように影響を与えるか？

主な発見

• 提案されたOCEANフレームワークは、50以上の特徴量と数百本の木を有するデータセットに対して、平均して2秒未満で最適な対応的説明を生成する。
• 隔離フォレスト制約を統合することで、対応的説明の妥当性割合が、制約なしの中央値35％から全テストデータセットで100％に上昇する。
• 隔離フォレスト制約を追加しても計算コストは約2倍に増加するが、妥当性の著しい向上を考慮すると、これは許容範囲である。
• 隔離フォレスト制約を用いることで、8つのデータセットのうち6つで100％の妥当性を達成する一方、制約なしでは25～55％にとどまる。
• フレームワークは効率的にスケーリング可能である：疎行列構造と対数的変数数のおかげで、特徴量の増加に伴い解法時間は安定を保つ。
• 従来の数学的プログラミング手法に比べ、二値変数の数を指数関数的に削減することで、大規模な木アンサンブルへのスケーラビリティを実現する。