[論文レビュー] MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation

Wenzhuo Yang, Jia Li+2 more|arXiv (Cornell University)|May 31, 2022

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

MACEは、強化学習を用いた特徴最適化と勾配なし勾配降下法を用いた近接性向上により、微分可能でないモデルや値の多いカテゴリカル特徴を扱えるモデルに依存しないフレームワークである。非微分可能なモデルやカテゴリカル特徴の多いモデルに対しても、効率的かつ高品質な反事後的説明を生成でき、DiCE や CERTIFAI よりも高速で、スパarsityと近接性に優れる。

ABSTRACT

Counterfactual explanation is an important Explainable AI technique to explain machine learning predictions. Despite being studied actively, existing optimization-based methods often assume that the underlying machine-learning model is differentiable and treat categorical attributes as continuous ones, which restricts their real-world applications when categorical attributes have many different values or the model is non-differentiable. To make counterfactual explanation suitable for real-world applications, we propose a novel framework of Model-Agnostic Counterfactual Explanation (MACE), which adopts a newly designed pipeline that can efficiently handle non-differentiable machine-learning models on a large number of feature values. in our MACE approach, we propose a novel RL-based method for finding good counterfactual examples and a gradient-less descent method for improving proximity. Experiments on public datasets validate the effectiveness with better validity, sparsity and proximity.

研究の動機と目的

• 微分可能であることを仮定する既存の最適化ベースの反事後的説明手法が、カテゴリカル特徴を連続的であると扱うという制限を克服し、実世界への導入を容易にすること。
• XGBoost などの非微分可能なモデルや、高基数のカテゴリカル特徴を有するモデルに対しても、効率的な反事後的説明の生成を可能にすること。
• 有効性、スパarsity、近接性を最適化しながら計算効率を維持する反事後的説明の品質向上。
• 実世界での本番環境への導入を容易にする実用的で使いやすいツールキットの開発。

提案手法

• MACEは4段階のパイプラインを採用する：反事後的特徴選択、REINFORCEに基づく強化学習エージェントによる反事後的特徴最適化、反事後的例の選択、連続的特徴の微調整。
• 強化学習に基づく最適化法は、望ましいモデル出力を得るために最小限で実行可能な特徴変更を学習する方策を学習する。
• 勾配なし勾配降下法（MACE-GLD）を用いて連続的特徴を精緻化し、元のインスタンスとの近接性を向上させる。
• カテゴリカル特徴はワンホットエンコーディングを行わず処理され、新たな連続変数の導入を回避し、スパarsityを保持する。
• フレームワークはモデルに依存せず、最適化プロセスに必要な時系列特徴を置き換えることで、表形式および時系列データの両方をサポートする。
• 基盤となるモデルの勾配計算を回避するため、XGBoost などの非微分可能なモデルにも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 XGBoost のような非微分可能なモデルを効率的に処理できるモデルに依存しない反事後的説明フレームワークは構築可能か？
• RQ2 ワンホットエンコーディングを行わずに、高基数のカテゴリカル特徴がある場合に反事後的説明を効率的に生成する方法は何か？
• RQ3 強化学習を用いて反事後的特徴選択を最適化することは、スパarsity と近接性を維持しながら効果的に可能か？
• RQ4 提案された勾配なし勾配降下法は、連続的特徴の近接性向上において勾配ベースの手法と比較してどのように優れているか？
• RQ5 高次元の時系列データに対しても、効率性と反事後的説明の品質を維持しながらスケーラブルか？

主な発見

• MACE-RL および MACE-GLD は、時系列データにおいて、Greedy よりも10倍以上も高速な推論時間を達成したが、スパarsity は同等を維持した。
• Adult および Titanic データセットにおいて、MACE は DiCE や CERTIFAI よりも高い有効性、より良いスパarsity、改善された近接性を持つ反事後的例を生成した。
• ほとんどのデータセットにおいて、1クエリあたりの実行時間を2秒未満に短縮し、実世界への導入に実用的であることを示した。
• Taxonomist データセットにおける時系列分類では、MACE-GLD および MACE-RL は Greedy と1〜2単位のスパarsity スコアを達成したが、1クエリあたり1.8秒で処理した。これに対して Greedy は19〜32秒を要した。
• 強化学習に基づく方策は、実世界の相関関係を反映した現実的で実行可能な反事後的例（例：「教育水準の向上」や「収入の増加」）を学習した。
• MACE を基盤に開発されたツールキットは、内部のAIワークフローへの実用的統合を可能にし、実世界への適用可能性を実証した。