[論文レビュー] Theoretical Behavior of XAI Methods in the Presence of Suppressor Variables

Rick Wilming, Leo Kieslich+2 more|arXiv (Cornell University)|Jun 2, 2023

Explainable Artificial Intelligence (XAI)被引用数 8

ひとこと要約

要約: 本論文は、抑制変数を含む単純な二次元線形モデルにおける人気のXAI手法の挙動を解析的に導出し、特徴量が相関している場合、多くの手法が抑制変数に非零の重要性を割り当てることを示し、説明の正しさに疑問を投げかける。

ABSTRACT

In recent years, the community of 'explainable artificial intelligence' (XAI) has created a vast body of methods to bridge a perceived gap between model 'complexity' and 'interpretability'. However, a concrete problem to be solved by XAI methods has not yet been formally stated. As a result, XAI methods are lacking theoretical and empirical evidence for the 'correctness' of their explanations, limiting their potential use for quality-control and transparency purposes. At the same time, Haufe et al. (2014) showed, using simple toy examples, that even standard interpretations of linear models can be highly misleading. Specifically, high importance may be attributed to so-called suppressor variables lacking any statistical relation to the prediction target. This behavior has been confirmed empirically for a large array of XAI methods in Wilming et al. (2022). Here, we go one step further by deriving analytical expressions for the behavior of a variety of popular XAI methods on a simple two-dimensional binary classification problem involving Gaussian class-conditional distributions. We show that the majority of the studied approaches will attribute non-zero importance to a non-class-related suppressor feature in the presence of correlated noise. This poses important limitations on the interpretations and conclusions that the outputs of these XAI methods can afford.

研究の動機と目的

• 特徴量重要度のデータ駆動的定義を動機づけ、抑制変数の存在下でのXAI説明の限界を強調する。
• 抑制特徴を相関ノイズとして導入する、扱いやすい二次元線形データ生成過程を開発する。
• 抑制子特徴量へ非ゼロの重要性を割り当てるかを評価するため、人気のあるXAI手法の解析表現を導出する。
• 制御されたデータ生成の下で、勾配ベース、パターンベース、Shapley値、カウンターファクトなど、さまざまな説明パラダイムを比較する。

提案手法

• 信号特徴量と抑制特徴量を持つ二次元線形生成モデルを定義する：x = a z + η, with y = z and η ~ N(0, Σ).
• 分類のためのベイズ最適線形判別器とその重みを計算する。
• モデルの下で、Gradien t、Pattern/Haufe変換、Faithfulness、Pixel Flipping、Permutation Feature Importance、Partial Dependency、Shapley値、Counterfactuals、FIRM、Integrated Gradients、LIME、Saliency-LRP/DTDなど、複数のXAI手法の解析表現を導出する。
• データ駆動の重要度定義を用いる：特徴量がYと統計的に関連している場合に重要とみなし、抑制子は説明において無情報だが影響力を持つ可能性があることを示す。
• 特徴量の相関cと分散s1^2, s2^2が、抑制特徴量へのアトリビューションに各手法でどのように影響するかを分析する。

(a) $c=0.8$

実験結果

リサーチクエスチョン

• RQ1 人気のXAI手法は、ターゲットYと統計的に独立な抑制変数に非零の重要性を割り当てるか？
• RQ2 情報量のある特徴と抑制特徴量の相関は、さまざまなXAI手法が生成する説明にどのような影響を与えるか？
• RQ3 データ駆動的な特徴量重要度の定義は、方法を問わず真に情報量のある特徴と抑制子を区別できるか？
• RQ4 抑制変数が存在する場合の一般的なXAIアプローチの理論的限界は何か？
• RQ5 Shapley値の価値関数の違い、カウンターファクトなど、抑制子シナリオ下で代替説明はどう振る舞うか？

主な発見

• 相関がある場合、分析対象のほとんどのXAI手法は抑制特徴量に非零の重要度を割り当て、データ駆動型重要度定義に反する。
• Haufeパターン変換は、Bayes最適分類器に対する抑制の影響を除去できる場合があり、単純な勾配や多くのポストホック手法とは異なる。
• Pixel flippingと置換ベースの重要度は、特に相関ノイズ下で慎重に制御しないと抑制子の重要度を過度に割り当てることがある。
• Partial Dependency Plotは、相関による抑制子への見かけ上の依存を示すことがあり、PDプロットの説明としての限界を露呈する。
• Shapley値は選択した価値関数に依存する。R^2ベースの価値で抑制子が非重要とされる場合もあるが、他の定式化では重要性を与える可能性がある。
• Integrated Gradients、LIME、カウンターファクト説明は抑制子の関与を示すことがあり、抑制子シナリオにおける解釈可能性リスクを浮き彫りにする。

(b) $c=0$