[论文解读] How Much Should I Trust You? Modeling Uncertainty of Black Box Explanations.

Dylan Slack, Sophie Hilgard+2 more|arXiv (Cornell University)|Aug 11, 2020

Explainable Artificial Intelligence (XAI)参考文献 35被引用 10

一句话总结

本文提出一种贝叶斯框架，用于建模局部黑箱模型解释中的不确定性，从而为特征重要性提供可信区间。通过估计不确定性，该方法提高了可靠性，降低了方差，并在 LIME 和 KernelSHAP 中实现了高效的采样策略，实证验证表明其生成的解释更加紧密且更值得信赖。

ABSTRACT

As local explanations of black box models are increasingly being employed to establish model credibility in high stakes settings, it is important to ensure that these explanations are accurate and reliable. However, local explanations generated by existing techniques are often prone to high variance. Further, these techniques are computationally inefficient, require significant hyper-parameter tuning, and provide little insight into the quality of the resulting explanations. We identify lack of uncertainty modeling as a main cause of these challenges and develop a novel set of tools for analyzing explanation uncertainty in a Bayesian framework. In particular, we estimate credible intervals (CIs) that capture the uncertainty associated with each feature importance in local explanations. These credible intervals are tight when we have high confidence in the feature importances of a local explanation. The CIs are also informative both for estimating how many perturbations we need to sample -- sampling can proceed until the CIs are sufficiently narrow -- and where to sample -- sampling in regions with high predictive uncertainty leads to faster convergence. We instantiate this framework to generate Bayesian versions of LIME and KernelSHAP. Experimental evaluation with multiple real world datasets and user studies demonstrate the efficacy of our framework and the resulting explanations.

研究动机与目标

• 解决高风险应用场景中现有局部解释方法在黑箱模型上存在高方差和不可靠的问题。
• 识别缺乏不确定性建模是当前解释技术不稳定和低效的关键原因。
• 开发一种贝叶斯框架，以量化局部解释中特征重要性的不确定性。
• 通过利用不确定性指导采样位置和采样数量，实现自适应采样。
• 通过提供反映特征重要性置信度的信息性可信区间，提升解释的质量和可信度。

提出的方法

• 采用贝叶斯方法对局部解释中的不确定性进行建模，估计特征重要性的后验分布。
• 为每个特征重要性计算可信区间（CIs），以反映估计的不确定性，并在预测更有把握时变得更紧。
• 利用黑箱模型的预测不确定性来指导采样策略——优先在不确定性较高的区域采样，以实现更快收敛。
• 通过调整其采样和拟合过程，将该框架应用于 LIME 和 KernelSHAP，实现贝叶斯推理的集成。
• 基于可信区间的宽度动态确定采样停止时机，确保足够精度的同时避免过度采样。
• 在不改变底层模型架构的前提下，将不确定性量化集成到解释流程中。

实验结果

研究问题

• RQ1 如何量化局部模型解释中的不确定性，以提升其可靠性和可信度？
• RQ2 在不同数据集上，建模不确定性在多大程度上减少了特征重要性估计的方差？
• RQ3 与随机或均匀采样相比，不确定性感知的采样策略是否能显著减少所需扰动的数量？
• RQ4 所提出的框架中的可信区间在多大程度上向用户传达了对单个特征重要性的置信度？
• RQ5 与标准版本相比，LIME 和 KernelSHAP 的贝叶斯改进版本在解释质量和效率方面表现如何？

主要发现

• 所提出的贝叶斯框架生成的可信区间能有效捕捉特征重要性估计中的不确定性，区间越窄表示置信度越高。
• 与标准 LIME 和 KernelSHAP 相比，该方法显著降低了局部解释的方差，从而产生更一致、更可靠的结论。
• 基于不确定性的采样策略显著减少了达到窄可信区间的扰动数量，提升了计算效率。
• 用户研究表明，带有可信区间的解释比标准解释更受信任且更具信息量。
• 该框架支持基于区间宽度的动态采样停止，避免了不必要的计算，同时保持了精度。
• LIME 和 KernelSHAP 的贝叶斯版本在解释稳定性与用户对可靠性的感知方面，均优于其非贝叶斯对应版本。