[论文解读] Causality-Aware Local Interpretable Model-Agnostic Explanations

Martina Cinquini, Riccardo Guidotti|arXiv (Cornell University)|Dec 10, 2022

Topic Modeling被引用 4

一句话总结

本文提出 CALIME，一种 LIME 的因果感知扩展方法，通过在实例邻域内生成尊重因果关系的合成数据，提升局部、模型无关解释的性能。通过使用 gencda 实现因果感知的数据生成，取代原有的随机扰动，CALIME 在特征数量增加时表现出更高的解释保真度与稳定性，尽管计算时间有所增加。

ABSTRACT

A main drawback of eXplainable Artificial Intelligence (XAI) approaches is the feature independence assumption, hindering the study of potential variable dependencies. This leads to approximating black box behaviors by analyzing the effects on randomly generated feature values that may rarely occur in the original samples. This paper addresses this issue by integrating causal knowledge in an XAI method to enhance transparency and enable users to assess the quality of the generated explanations. Specifically, we propose a novel extension to a widely used local and model-agnostic explainer, which encodes explicit causal relationships within the data surrounding the instance being explained. Extensive experiments show that our approach overcomes the original method in terms of faithfully replicating the black-box model's mechanism and the consistency and reliability of the generated explanations.

研究动机与目标

• 解决现有 XAI 方法假设特征独立性、无法在局部解释中建模因果关系的局限性。
• 通过将因果结构整合到合成数据生成过程中，提升局部、模型无关解释的保真度与稳定性。
• 开发一种方法，通过基于现实、因果驱动的数据分布来生成解释，从而增强用户对 AI 决策的信任。
• 证明因果感知的合成数据生成相比基于随机扰动的方法，能产生更合理且鲁棒的解释。
• 为将因果感知解释技术扩展至表格数据和连续特征之外奠定基础。

提出的方法

• 用 gencda（一种尊重输入特征因果图的因果结构感知合成数据生成器）替代 LIME 的随机合成数据生成方式。
• 在解释前，通过 ncda 从训练数据中推断因果图（DAG）。
• 通过从因果图定义的条件分布中采样，在待解释实例的局部邻域内生成合成实例。
• 在因果生成的合成数据上训练带 Lasso 正则化的线性模型，以生成特征重要性解释。
• 使用距离函数根据与原始实例的接近程度对合成实例进行加权，以保持局部保真度。
• 确保生成的数据尊重潜在的因果依赖关系，从而降低生成不切实际或不合理实例的可能性。

实验结果

研究问题

• RQ1 将因果结构整合到合成数据生成中，能否提升局部、模型无关解释的保真度？
• RQ2 因果感知的数据生成是否能带来更稳定、更一致的解释结果（在多次运行中）？
• RQ3 与 LIME 生成的合成实例相比，CALIME 生成的实例在分布真实性方面是否更具可信度？
• RQ4 在引入因果结构时，解释质量与计算效率之间的权衡如何？
• RQ5 因果感知解释在多大程度上能提升用户对 AI 决策的信任？

主要发现

• 在所有指标（AMD、AOD、ASM、ADM）上，CALIME 的解释合理性均优于 LIME，其中更低的分数表示更高的合理性，尤其在 statlog 和 wine-red 等数据集上表现显著。
• 在保真度方面，CALIME 在除 wdbc 外的所有数据集上均达到更高的平均保真度，其中 wdbc 数据集上 LIME 略胜一筹（k=30 时，LIME 为 0.44，CALIME 为 0.41）。
• 当 k > 4 时，CALIME 展现出更优的稳定性，LLE（局部 LIME 误差）值更低，表明在不同扰动下解释结果更一致。
• CALIME 生成的邻域比 LIME 更紧凑、更接近原始实例，表现为更低的 AMD 和 AOD 分数，表明其局部密度更高、更真实。
• 尽管具有优势，CALIME 显著慢于 LIME，因需进行因果图推断与分布学习，计算时间高出一个至两个数量级。
• 该方法目前仅限于连续特征，因 gencda 和 ncda 尚不支持混合类型（类别/连续）数据，凸显未来工作的关键方向。