[论文解读] Getting a CLUE: A Method for Explaining Uncertainty Estimates

Javier Antorán, Umang Bhatt+3 more|arXiv (Cornell University)|Jun 11, 2020

Explainable Artificial Intelligence (XAI)参考文献 50被引用 41

一句话总结

CLUE 通过在深度生成模型的潜在空间中产生反事实来解释神经网络预测不确定性，使不确定性聚焦的解释与评估成为可能，并有强有力的实证和用户研究支持。

ABSTRACT

Both uncertainty estimation and interpretability are important factors for trustworthy machine learning systems. However, there is little work at the intersection of these two areas. We address this gap by proposing a novel method for interpreting uncertainty estimates from differentiable probabilistic models, like Bayesian Neural Networks (BNNs). Our method, Counterfactual Latent Uncertainty Explanations (CLUE), indicates how to change an input, while keeping it on the data manifold, such that a BNN becomes more confident about the input's prediction. We validate CLUE through 1) a novel framework for evaluating counterfactual explanations of uncertainty, 2) a series of ablation experiments, and 3) a user study. Our experiments show that CLUE outperforms baselines and enables practitioners to better understand which input patterns are responsible for predictive uncertainty.

研究动机与目标

• 在概率模型（特别是 BNNs）中，激发对可解释的不确定性估计的需求。
• 引入 CLUE，识别在数据流形上且尽可能小的潜在空间变化，从而降低模型不确定性。
• 提供一个计算评估框架，用于评估不确定性的反事实解释。
• 在表格数据和图像数据集以及通过人类研究，展示 CLUE 的有效性。

提出的方法

• 定义一个辅助的潜在空间深度生成模型（DGM）和一个 VAE 解码器，用于搜索接近原始输入但导致不确定性降低的输入。
• 将 CLUE 目标 L(z) = H(y|mu_theta(x|z)) + d(mu_theta(x|z), x0) 公式化，并对潜在编码 z 进行优化，以获得 x_CLUE。
• 使用 DGM 解码器将 z_CLUE 解码为 x_CLUE，确保变化仍在分布内并且接近数据流形。
• 使用覆盖 epistemic 与 aleatoric 组件的不确定性估计器 H，适用于回归和分类任务。
• 采用初始化策略 z0 = mu_phi(z|x0)，执行多次运行以获得多样化的 CLUE，并根据收敛准则进行早停。

实验结果

研究问题

• RQ1 在数据分布内保持的前提下，使得 BNN 对其预测更加确信的最小输入变化是什么？
• RQ2 潜在空间的反事实（CLUEs）是否可以提供对高模型不确定性的有意义的、在分布内的解释？
• RQ3 CLUEs 与基线不确定性解释和特征重要性方法在解释不确定性方面的比较？
• RQ4 是否存在真实的数据生成过程，能够对不确定性的反事实解释进行客观评估？

主要发现

• CLUE 在跨多个数据集和任务中的不确定性解释方面优于基线。
• 使用潜在空间搜索确保 CLUE 仍在分布内且可解释，避免 off-manifold 的扰动。
• 在计算评估中，CLUE 能解释比 U-FIDO 更多的真实不确定性，而 U-FIDO 产生更小的输入变化。
• 在基于真实生成模型的对数似然评估指标中，CLUE 在 10 个任务中有 8 个达到最佳性能。
• 一项用户研究显示 CLUE 提高了从业者预测对新输入 BNN 是否会确定或不确定的能力，优于 Local Sensitivity 及其他基线。
• 更具表达性的辅助 DGM 产生的 CLUE 更相关（在实现相似不确定性下降时输入变化更小）并保持关于不确定性的的信息含量。