[論文レビュー] How Much Should I Trust You? Modeling Uncertainty of Black Box Explanations.

Dylan Slack, Sophie Hilgard+2 more|arXiv (Cornell University)|Aug 11, 2020

Explainable Artificial Intelligence (XAI)参考文献 35被引用数 10

ひとこと要約

本稿では、局所的なブラックボックスモデルの説明における不確実性をモデル化するベイジアンフレームワークを提案し、特徴量重要度の信頼区間を可能にしている。不確実性を推定することで、信頼性が向上し、分散が低減され、LIMEおよびKernelSHAPにおける効率的なサンプリングが可能になる。実証的検証により、より狭く信頼性の高い説明が得られることを示している。

ABSTRACT

As local explanations of black box models are increasingly being employed to establish model credibility in high stakes settings, it is important to ensure that these explanations are accurate and reliable. However, local explanations generated by existing techniques are often prone to high variance. Further, these techniques are computationally inefficient, require significant hyper-parameter tuning, and provide little insight into the quality of the resulting explanations. We identify lack of uncertainty modeling as a main cause of these challenges and develop a novel set of tools for analyzing explanation uncertainty in a Bayesian framework. In particular, we estimate credible intervals (CIs) that capture the uncertainty associated with each feature importance in local explanations. These credible intervals are tight when we have high confidence in the feature importances of a local explanation. The CIs are also informative both for estimating how many perturbations we need to sample -- sampling can proceed until the CIs are sufficiently narrow -- and where to sample -- sampling in regions with high predictive uncertainty leads to faster convergence. We instantiate this framework to generate Bayesian versions of LIME and KernelSHAP. Experimental evaluation with multiple real world datasets and user studies demonstrate the efficacy of our framework and the resulting explanations.

研究の動機と目的

• 高利害な応用分野におけるブラックボックスモデルの既存の局所的説明手法の高い分散と信頼性の欠如を解決すること。
• 現在の説明手法における不安定性と非効率性の主な要因として、不確実性のモデリングの欠如を特定すること。
• 局所的説明における特徴量重要度推定の不確実性を定量化するベイジアンフレームワークの開発。
• 不確実性を用いてどこに、どの程度の数の摂動をサンプリングするかをガイドすることで、適応的サンプリングを可能にすること。
• 特徴量重要度に関する信頼性を反映する情報的な信頼区間を用いて、説明の品質と信頼性を向上させること。

提案手法

• 特徴量重要度の事後分布を推定することで、局所的説明における不確実性をベイジアンアプローチでモデル化すること。
• 各特徴量重要度の信頼区間（CIs）を計算し、推定の不確実性を反映させるとともに、より高い信頼性の予測では区間が狭くなるようにすること。
• ブラックボックスモデルの予測不確実性を活用し、収束を早めるために不確実性が高い領域を優先してサンプリング戦略を設計すること。
• LIMEおよびKernelSHAPにおけるフレームワークの具体化として、そのサンプリングおよびフィッティング手順をベイジアン推論を組み込むように変更すること。
• 信頼区間の幅に基づいて、過剰なサンプリングを避けるために、十分な精度に達した段階でサンプリングを停止する動的判断を行うこと。
• 下位のモデルアーキテクチャを変更せずに、説明パイプラインに不確実性定量化を統合すること。

実験結果

リサーチクエスチョン

• RQ1 局所的モデル説明における不確実性をどのように定量化すれば、信頼性と信頼性を向上させられるか？
• RQ2 不確実性をモデリングすることで、異なるデータセットにおいて特徴量重要度推定の分散がどの程度低減されるか？
• RQ3 不確実性を考慮したサンプリング戦略は、ランダムまたは一様サンプリングと比較して、必要な摂動数をどの程度削減できるか？
• RQ4 提案フレームワークにおける信頼区間は、個々の特徴量重要度に関する信頼度をユーザーにどのように伝えるか？
• RQ5 LIMEおよびKernelSHAPのベイジアン適合版は、標準版と比較して、説明の品質と効率性の面でどの程度優れているか？

主な発見

• 提案されたベイジアンフレームワークは、特徴量重要度推定の不確実性を効果的に捉えた信頼区間を生成し、区間が狭いほど高い信頼度を示している。
• 標準的なLIMEおよびKernelSHAPと比較して、本手法は局所的説明の分散を低減し、より一貫性があり信頼性の高い結果をもたらしている。
• 不確実性を考慮したサンプリング戦略により、狭い信頼区間を達成するための摂動数が顕著に削減され、計算効率が向上した。
• ユーザースタディの結果、信頼区間を含む説明は、標準的な説明よりも信頼性が高く情報量が多いと認識された。
• 本フレームワークは、信頼区間の幅に基づいた動的停止を可能にし、必要以上な計算を回避しながらも精度を維持している。
• LIMEおよびKernelSHAPのベイジアン版は、非ベイジアン版と比較して、説明の安定性および信頼性に関するユーザーパーセプションの両面で優れている。