[論文レビュー] Explaining Predictive Uncertainty with Information Theoretic Shapley Values

David Watson, Joshua O'Hara+3 more|arXiv (Cornell University)|Jun 9, 2023

Explainable Artificial Intelligence (XAI)被引用数 14

ひとこと要約

この論文は、情報理論的価値関数を用いて予測的不確実性を説明するためにShapley値を適用し、モデル非依存的なエントロピー成分の寄与を可能にし、有限サンプル推定保証を提供します。

ABSTRACT

Researchers in explainable artificial intelligence have developed numerous methods for helping users understand the predictions of complex supervised learning models. By contrast, explaining the $\textit{uncertainty}$ of model outputs has received relatively little attention. We adapt the popular Shapley value framework to explain various types of predictive uncertainty, quantifying each feature's contribution to the conditional entropy of individual model outputs. We consider games with modified characteristic functions and find deep connections between the resulting Shapley values and fundamental quantities from information theory and conditional independence testing. We outline inference procedures for finite sample error rate control with provable guarantees, and implement efficient algorithms that perform well in a range of experiments on real and simulated data. Our method has applications to covariate shift detection, active learning, feature selection, and active feature-value acquisition.

研究の動機と目的

• Shapley値の寄与を、点予測だけでなくモデル出力の不確実性を説明するよう拡張する。
• 条件付きエントロピーと情報利得を捉える情報理論的価値関数を導入する。
• 寄与スコアの誤差率保証を伴う有限サンプルのコンフォーマル推定による推定を提供する。
• モデル固有およびモデル非依存の両方のバリアントを開発し、シミュレーションと実データで検証する。
• 共変量シフト検知、アクティブ学習、特徴量選択への適用を示す。

提案手法

• KL、CE、エントロピーの派生値関数に基づく修正値関数を用いてShapley値を適用し、局所的不確実性への特徴量寄与を定量化する。
• 情報理論的寄与を条件付き独立性および文脈特異的独立性と関連付けて定義する。
• Shapley値に対する有限サンプル被覆を保証する分割コンフォーマル推定手順を提供する。
• 総不確実性、エピステミック不確実性、アレアトリック不確実性をプラグインエントロピー推定で推定する、アンサンブルベースの不確実性推定を用いる。
• モデル固有（TreeSHAP/DeepSHAP）およびモデル非依存のバリアントを実装し、シミュレーションデータと実データで評価する。

Figure 1: A . MNIST examples. We highlight pixels that increase (red) and decrease (blue) predictive uncertainty in digit classification tasks (1 vs. 7, 3 vs. 8, and 4 vs. 9). B . Reviews from the IMDB dataset, with tokens colored by their relative contribution to the entropy of sentiment prediction

実験結果

リサーチクエスチョン

• RQ1 Shapley値を再定式化して、点予測ではなく予測不確実性を寄与づけることはできるか。
• RQ2 提案されたShapley値バリアント（KL、CE、IG、H）の情報理論的解釈と性質は何か。
• RQ3 コンフォーマル推定を介して寄与スコアの有限サンプル被覆保証を確立できるか。
• RQ4 共変量シフト検知・アクティブ学習・特徴量選択といったタスクで、これらの不確実性寄与は実務上どのように機能するか。

主な発見

• 情報理論的Shapley値は、Xを与えたときのYの不確実性を説明するために、特徴量に情報ビットを割り当てる。
• KLとCEに基づく値関数は、加法定数を除いて同一のShapley値を与え、局所後方分布と事前分布の乖離の測度と等価となる。
• IGとHに基づく値関数は、局所的な情報利得と条件付きエントロピーの寄与を定量化し、相互情報量と条件付き独立性の概念に結びつく。
• 分割コンフォーマル推定手順は、特徴量の寄与が零周辺に集中するかを検定するための有限サンプル被覆保証を提供する。
• 画像・テキスト・表形式データでの実験は、エピステミック/アレアトリア不確実性への意味のある寄与と、共変量シフト検出およびアクティブ学習における有効性を示す。

Figure 2: A . Mean absolute error (MAE) as a function of sample size, with autocorrelation fixed at $\rho=0.5$ . B . MAE as a function of autocorrelation with sample size fixed at $n=2000$ . Shading represents standard errors across 50 replicates.