[論文レビュー] Reliable Post hoc Explanations: Modeling Uncertainty in Explainability

Dylan Slack, Sophie Hilgard+2 more|arXiv (Cornell University)|Aug 11, 2020

Explainable Artificial Intelligence (XAI)参考文献 57被引用数 23

ひとこと要約

本稿では、特徴量の重要度に関する不確実性を定量化する信頼区間を備えた局所モデルの説明を生成するベイジアンフレームワーク、BayesLIME と BayesSHAP を提案する。不確実性をモデル化することにより、理論的保証に基づいたハイパーパrameter選定と収束性を備えた、安定的で信頼性が高く、計算的にも効率的な説明が可能となる。

ABSTRACT

As black box explanations are increasingly being employed to establish model credibility in high-stakes settings, it is important to ensure that these explanations are accurate and reliable. However, prior work demonstrates that explanations generated by state-of-the-art techniques are inconsistent, unstable, and provide very little insight into their correctness and reliability. In addition, these methods are also computationally inefficient, and require significant hyper-parameter tuning. In this paper, we address the aforementioned challenges by developing a novel Bayesian framework for generating local explanations along with their associated uncertainty. We instantiate this framework to obtain Bayesian versions of LIME and KernelSHAP which output credible intervals for the feature importances, capturing the associated uncertainty. The resulting explanations not only enable us to make concrete inferences about their quality (e.g., there is a 95% chance that the feature importance lies within the given range), but are also highly consistent and stable. We carry out a detailed theoretical analysis that leverages the aforementioned uncertainty to estimate how many perturbations to sample, and how to sample for faster convergence. This work makes the first attempt at addressing several critical issues with popular explanation methods in one shot, thereby generating consistent, stable, and reliable explanations with guarantees in a computationally efficient manner. Experimental evaluation with multiple real world datasets and user studies demonstrate that the efficacy of the proposed framework.

研究の動機と目的

• LIME や SHAP といった従来の後処理説明手法が、実行回数や小さな入力の摂動に対して説明が変動することによる不安定さと一貫性の欠如を解消する。
• 特徴量の重要度の事後分布をモデル化することで、説明の質に関する明確な推論が可能な、不確実性を考慮した信頼性のある説明を提供する。
• 事後分布の閉形式表現を導出することで、MCMC やサンプリングに基づく推論の必要性を排除し、計算コストを低減する。
• 不確実性推定を用いて、重要なハイパーパrameter（例：摂動回数）の選定に理論的指針を提供し、望ましい信頼水準を達成する。
• エンドユーザーが所望の信頼水準（例：95% 信頼区間）に基づいた説明を要求できるようにする。

提案手法

• 局所的説明係数を確率変数として扱い、事後分布を備えるベイジアンフレームワークを構築することで、不確実性の定量化を可能にする。
• LIME および KernelSHAP の事後分布を閉形式で導出することで、MCMC やサンプリングによる推論の必要性を排除し、計算効率を確保する。
• このフレームワークを実装し、BayesLIME と BayesSHAP を開発。点推定に加え、信頼区間も出力する。
• 不確実性の高い領域に重点を置く新しいサンプリング戦略「フォーカスドサンプリング」を提案。収束を加速する。
• 信頼区間を活用して、望ましい信頼水準に達するための摂動回数を閉形式で推定する。
• 不確実性測度をハイパーパrameter選定に統合し、ユーザーが指定した信頼水準を満たす説明が得られるようにする。

実験結果

リサーチクエスチョン

• RQ1 局所的説明における不確実性をモデル化することで、複数回の実行における安定性と一貫性が向上するか？
• RQ2 特徴量の重要度に信頼区間を設けることで、説明の質と信頼性に関する信頼性があり、解釈可能な指標が得られるか？
• RQ3 不確実性推定に基づく理論的分析によって、摂動回数などの重要なハイパーパrameterの選定が可能になるか？
• RQ4 不確実性に配慮したサンプリング戦略は、説明生成の計算効率を向上させるか？
• RQ5 不確実性に配慮した説明は、高リスク分野におけるユーザーの信頼と意思決定をどの程度向上させるか？

主な発見

• BayesLIME と BayesSHAP は、信頼区間付きの説明を生成し、ユーザーが特徴量の重要度推定の信頼性を定量化できる。例えば、真の重要度が与えられた範囲内にある確率が 95% であると述べられる。
• フレームワークは高い一貫性と安定性を確保する。標準的な LIME とは異なり、わずかな入力摂動や異なる実行回数に対しても、説明が大きく変化しない。
• 理論的分析により、望ましい信頼水準に達するための摂動回数を閉形式で推定可能となり、ヒューリスティックなチューニングへの依存が低減される。
• 不確実性の高い領域に重点を置くフォーカスドサンプリングにより、収束が加速され、安定した説明を得るためのブラックボックスクエリ回数が削減される。
• COMPAS やドイツ信用、MNIST、ImageNet などのデータセットを用いたユーザースタディおよび評価結果から、提案手法がベースライン手法よりも信頼性が高く、信頼できる説明を生成することが確認された。
• 閉形式の事後分布のおかげで、繰り返しサンプリングや MCMC を回避でき、計算効率を維持しながらも、不確実性の定量化を実現している。