[論文レビュー] On Counterfactual Explanations under Predictive Multiplicity

Martin Pawelczyk, Klaus Broelemann+1 more|arXiv (Cornell University)|Jun 23, 2020

Explainable Artificial Intelligence (XAI)参考文献 26被引用数 21

ひとこと要約

本稿は、予測の多様性（複数のモデルが同等に性能を発揮する状況）下で、入力の摂動を最小化するスパースな対応的説明が最適であるという仮定に挑戦する。データに裏付けられた対応的説明（正しく分類された実際の例と整合性を持つもの）は、モデルの変化に対してより頑健であるが、本質的に生成コストが高く、理論的および実証的証拠により、多様性下でより高いコストが生じることが示されている。

ABSTRACT

Counterfactual explanations are usually obtained by identifying the smallest change made to an input to change a prediction made by a fixed model (hereafter called sparse methods). Recent work, however, has revitalized an old insight: there often does not exist one superior solution to a prediction problem with respect to commonly used measures of interest (e.g. error rate). In fact, often multiple different classifiers give almost equal solutions. This phenomenon is known as predictive multiplicity (Breiman, 2001; Marx et al., 2019). In this work, we derive a general upper bound for the costs of counterfactual explanations under predictive multiplicity. Most notably, it depends on a discrepancy notion between two classifiers, which describes how differently they treat negatively predicted individuals. We then compare sparse and data support approaches empirically on real-world data. The results show that data support methods are more robust to multiplicity of different models. At the same time, we show that those methods have provably higher cost of generating counterfactual explanations under one fixed model. In summary, our theoretical and empiricaln results challenge the commonly held view that counterfactual recommendations should be sparse in general.

研究の動機と目的

• 予測の多様性（複数のモデルが同等に性能を発揮する状況）が、対応的説明の信頼性に与える影響を調査すること。
• 推薦目的において、スパースな対応的説明（ℓpノルムの変化を最小化するもの）が最適であるという一般的な仮定に挑戦すること。
• 正のクラスに属する実際の例と整合性を持つデータに裏付けられた対応的説明が、モデルの変化に対してより頑健であるかどうかを評価すること。
• モデルの多様性下での対応的説明のコストに関する理論的上限を導出すること。
• 実世界の意思決定システムにおける対応的推薦のコスト保証を提供すること。

提案手法

• 2つの分類器間の乖離度を測る指標に依存する一般化された対応的説明コストの上界を導出する。この指標は、負の予測をされた個体に対して2つの分類器がどのように異なる処理を行うかを定量化する。
• 2種類の対応的説明生成手法を比較する：スパース手法（ℓpノルムの変化を最小化するもの）とデータに裏付けられた手法（正しく分類された正例に近いもの）。
• 2つの実世界のデータセット（HELOC および 'Give Me Some Credit'）を用いて、線形モデルを用いてコストを実証的に評価する。
• 2つの指標を用いてコストを測定する：全特徴量のパーセンタイルシフトの合計（特徴量全体の絶対変化量の合計）と、最大パーセンタイルシフト（最大の単一変化量）。
• データに裏付けられた対応的説明を生成するため、変分オートエンコーダー（VAE）に基づく手法（OURS）を用い、スパースベースライン（GS および AR）と対比する。
• 対応的説明と元のデータの特徴量分布を分析し、意味的および分布的妥当性を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルのデプロイが変化した場合、予測の多様性が対応的説明のコストと信頼性にどのように影響するか？
• RQ2 データに裏付けられた対応的説明は、スパースな対応的説明よりもモデルの変化に対してより頑健か？
• RQ3 モデルの多様性下での対応的説明コストの理論的上限は何か？
• RQ4 なぜデータに裏付けられた対応的説明はスパースな手法よりもコストが高くなるのか？このコストのトレードオフは実用的有用性に影響を与えるか？
• RQ5 モデルの不確実性下でも、最小限のコストで不変の対応的推薦を生成することは可能か？

主な発見

• データに裏付けられた対応的説明は、正しく分類された正例の意思決定パターンと整合するため、モデルの変化に対してスパースな対応的説明よりも頑健である。
• VAEに基づくデータに裏付けられた手法（OURS）は、HELOC および 'Give Me Some Credit' データセットの両方で、スパース手法（GS および AR）と比較して、全パーセンタイルシフトおよび最大パーセンタイルシフトの両方が顕著に高い値を示している。
• 対応的説明コストの理論的上限は、2つの分類器間の乖離度に依存しており、モデルの安定性が損なわれると、コストが著しく上昇することが示された。
• 固定されたモデル下ではスパースな対応的説明はコストが低いが、モデルが変化すると一般化できず、実用上その信頼性が損なわれる。
• 実際の正しく分類された例に近い（データに裏付けられた）対応的説明は、タイムリネスの例における特徴量分布の整合性から示されるように、意味的により明確で、分布的にもより妥当である。
• データに裏付けられた対応的説明の高いコストは、最小の変更が直感的でなかったり実現不可能だったりするのを避けるためであり（例：遅延支払状況を変更しないままに）、現実的かつ達成可能な変更に一致させるためのものである。