[論文レビュー] GeCo: Quality Counterfactual Explanations in Real Time

Maximilian Schleich, Zixuan Geng+2 more|arXiv (Cornell University)|Jan 5, 2021

Explainable Artificial Intelligence (XAI)参考文献 33被引用数 13

ひとこと要約

GeCo は、2 つの主要な最適化手法（Δ表現によるコン pact な候補符号化と分類器の部分評価）を備えたカスタム化された遺伝的アルゴリズムを用いて、リアルタイムで高品質で実行可能かつ妥当な対向的説明を生成するシステムである。GeCo は、MACE、What-If Tool、DiCE、CERTIFAI の 5 つの既存システムを上回り、インタラクティブな環境下でも低遅延応答時間と高品質な説明を両立している。

ABSTRACT

Machine learning is increasingly applied in high-stakes decision making that directly affect people's lives, and this leads to an increased demand for systems to explain their decisions. Explanations often take the form of counterfactuals, which consists of conveying to the end user what she/he needs to change in order to improve the outcome. Computing counterfactual explanations is challenging, because of the inherent tension between a rich semantics of the domain, and the need for real time response. In this paper we present GeCo, the first system that can compute plausible and feasible counterfactual explanations in real time. At its core, GeCo relies on a genetic algorithm, which is customized to favor searching counterfactual explanations with the smallest number of changes. To achieve real-time performance, we introduce two novel optimizations: $Δ$-representation of candidate counterfactuals, and partial evaluation of the classifier. We compare empirically GeCo against five other systems described in the literature, and show that it is the only system that can achieve both high quality explanations and real time answers.

研究の動機と目的

• 高利害な機械学習意思決定における、高品質で実行可能かつ妥当な対向的説明をリアルタイムに生成するという重要な課題に取り組むこと。
• 説明の妥当性・実行可能性を求める包括的な意味的制約と、生産環境におけるインタラクティブなパフォーマンス要件の間の緊張を克服すること。
• 低遅延応答を維持しながらも、複雑な現実世界の制約を満たすシステムを設計すること。
• 分野固有のルール、社会的規範、GDPR などの法的要件を反映した、実行可能でユーザーフレンドリーな説明を可能にすること。
• 多様な構造化データおよびモデルタイプに適応可能なスケーラブルで汎用的なソリューションを提供すること。

提案手法

• GeCo は、特徴量の変更回数を最小限に抑えるように最適化されたカスタム遺伝的アルゴリズムを採用しており、これにより説明の実行可能性と妥当性が向上する。
• Δ表現と呼ばれるコン pact なデータ構造を導入し、元のインスタンスからの差分として候補の対向的説明を符号化することで、メモリと計算のオーバーヘッドを削減する。
• 分類器の部分評価を適用することで、複数の候補インスタンス間で共通するモデル部品の再評価を回避し、適合度評価の高速化を実現する。
• 一般用途の制約言語（PLAF）を統合し、単調性（例：年齢は増加のみ）や特徴量間の論理的依存関係など、分野固有のルールを表現する。
• 特徴量のグループ化と制約の含意解消を用いて、さらに探索空間を縮小し、収束速度を向上させる。
• アクションカスケーディングを用いた動的制約チェックにより、正しさを維持しながらパフォーマンスへの影響を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 複雑な分野固有の制約下でも、高品質で実行可能かつ妥当な対向的説明をリアルタイムに生成できるか？
• RQ2 解の品質を損なわせることなく、対向的説明の探索空間を効率的に削減する方法は何か？
• RQ3 意味的整合性を保ちつつ、遺伝的アルゴリズムの対向的探索を加速するために最も効果的な最適化は何か？
• RQ4 制約ベースのフィルタリングは、実行時オーバーヘッドを大幅に増加させることなく、性能をどの程度向上させられるか？
• RQ5 豊かな意味的制約とインタラクティブなパフォーマンスの両立は可能か？ それらの両方を重視する既存のアプローチに比べ、GeCo は優れているか？

主な発見

• 評価された 5 つのシステムの中で、GeCo のみがリアルタイム性能と高品質な対向的説明の両方を達成しており、MACE、What-If Tool、DiCE、CERTIFAI を両方の指標で上回っている。
• 12 個の特徴量すべてを変更する状況でも、GeCo は一貫して有効な対向的説明を発見でき、実行時間は変更数に比例して線形に増加する。
• Δ表現により、単純なリスト化と比較して候補集団のサイズを最大 60 倍まで削減でき、メモリ効率と探索速度が顕著に向上した。
• 部分評価と制約フィルタリングにより、Credit データセットでは最大 32.3% の性能向上が得られ、全制約を適用した場合に Adult で 18.7%、Credit で 9.8% の全体的な高速化が達成された。
• 含意を伴う制約の導入にはオーバーヘッドが伴うが、制約なしのケースに比べて収束が速く、効果的なトレードオフが実証された。
• 突然変異段階でより多くの値をサンプリングすることで、最適解との距離ギャップを大幅に縮小でき、パフォーマンス劣化はわずかに抑えられ、強力なスケーラビリティと適応性を示した。