[论文解读] BayLIME: Bayesian Local Interpretable Model-Agnostic Explanations

Xingyu Zhao, Wei Huang+3 more|Warwick Research Archive Portal (University of Warwick)|Dec 5, 2020

Explainable Artificial Intelligence (XAI)参考文献 39被引用 27

一句话总结

BayLIME 提出了一种贝叶斯扩展的 LIME 框架，通过基于原理的贝叶斯推理整合先验知识，提升了解释的一致性、对核函数设置的鲁棒性以及保真度。通过将先验知识与基于数据的估计通过贝叶斯线性模型结合，BayLIME 减少了重复解释中的方差，并增强了在各种 XAI 应用场景下的可靠性。

ABSTRACT

Given the pressing need for assuring algorithmic transparency, Explainable AI (XAI) has emerged as one of the key areas of AI research. In this paper, we develop a novel Bayesian extension to the LIME framework, one of the most widely used approaches in XAI -- which we call BayLIME. Compared to LIME, BayLIME exploits prior knowledge and Bayesian reasoning to improve both the consistency in repeated explanations of a single prediction and the robustness to kernel settings. BayLIME also exhibits better explanation fidelity than the state-of-the-art (LIME, SHAP and GradCAM) by its ability to integrate prior knowledge from, e.g., a variety of other XAI techniques, as well as verification and validation (V&V) methods. We demonstrate the desirable properties of BayLIME through both theoretical analysis and extensive experiments.

研究动机与目标

• 解决由于扰动实例的随机采样导致的重复 LIME 解释不一致问题。
• 改善局部解释对核函数参数设置的鲁棒性，这是 LIME 中已知的局限性。
• 通过整合来自不同来源的先验知识（如其他 XAI 方法的结果或验证与确认（V&V）技术），提升解释保真度。
• 开发一个原则化的贝叶斯框架，以在局部代理建模中平衡先验知识与经验数据。
• 为基于特征排序的 XAI 方法提供通用且可量化的指标，用于评估一致性和鲁棒性。

提出的方法

• 将贝叶斯线性模型作为局部代理，其中后验估计是先验知识与基于数据的证据的加权组合。
• 使用共轭先验以实现解析后验计算，确保计算效率和可解释性。
• 整合来自三个来源的先验参数：相似实例的解释、其他 XAI 工具（如 SHAP、GradCAM）的输出，以及 V&V 方法。
• 应用贝叶斯模型选择自动调整超参数，包括先验与数据证据的影响权重。
• 通过核加权似然定义局部性，其中核函数参数作为可调节或从领域知识中获取的超参数。
• 使用后验可信区间评估不确定性并指导解释的可靠性，从而增强对核函数选择的鲁棒性。

实验结果

研究问题

• RQ1 贝叶斯形式化的 LIME 是否能减少对同一预测重复解释中的不一致性？
• RQ2 与标准 LIME 相比，BayLIME 在核函数参数设置上的鲁棒性提升程度如何？
• RQ3 与最先进 XAI 方法相比，整合来自多样化来源的先验知识对解释保真度的影响如何？
• RQ4 针对基于特征排序的 XAI 技术，通用的一致性和鲁棒性指标是否能有效应用？
• RQ5 先验质量对解释可靠性的影响是什么？贝叶斯推理如何减轻劣质先验带来的风险？

主要发现

• BayLIME 显著提升了重复运行中的解释一致性，相比标准 LIME，特征重要性排序的方差显著降低。
• BayLIME 展现出更强的核函数参数设置鲁棒性，即使在核带宽变化时，解释结果仍保持稳定。
• 通过整合来自 V&V 工具和其他 XAI 方法的先验知识，BayLIME 在实证评估中实现了比 LIME、SHAP 和 GradCAM 更高的解释保真度。
• 该方法保持了计算效率，时间复杂度在扰动样本数量上为线性，即使在中等规模样本下也能良好扩展。
• 一致性和鲁棒性的定量指标被成功应用，并显示 BayLIME 在多个基准数据集上优于 LIME 和其他基线方法。
• 贝叶斯不确定性量化支持了对解释的可靠置信度估计，有助于在医疗和自动驾驶等高风险应用中建立信任。