[论文解读] Can We Faithfully Represent Masked States to Compute Shapley Values on a DNN?

Jie Ren, Zhanpeng Zhou+2 more|arXiv (Cornell University)|May 22, 2021

Explainable Artificial Intelligence (XAI)参考文献 50被引用 5

一句话总结

本文提出了一种基于因果模式的框架，用于评估并学习深度神经网络（DNNs）中计算Shapley值的最优基线值。通过利用从DNN中提取的解耦因果模式，该方法确保基线值能真实反映输入变量的缺失，从而最小化虚假因果效应和冗余模式解释。其核心贡献是一种理论基础扎实、以忠实性为导向的方法，显著提升了归因的可靠性。

ABSTRACT

Masking some input variables of a deep neural network (DNN) and computing output changes on the masked input sample represent a typical way to compute attributions of input variables in the sample. People usually mask an input variable using its baseline value. However, there is no theory to examine whether baseline value faithfully represents the absence of an input variable, \emph{i.e.,} removing all signals from the input variable. Fortunately, recent studies show that the inference score of a DNN can be strictly disentangled into a set of causal patterns (or concepts) encoded by the DNN. Therefore, we propose to use causal patterns to examine the faithfulness of baseline values. More crucially, it is proven that causal patterns can be explained as the elementary rationale of the Shapley value. Furthermore, we propose a method to learn optimal baseline values, and experimental results have demonstrated its effectiveness.

研究动机与目标

• 为解决缺乏理论标准来评估DNN归因中基线值是否真正代表输入变量缺失的问题。
• 通过引入基于因果模式的忠实性准则，挑战直观或分布外（OOD）基线值本质上不忠实的假设。
• 提出一种通过最小化冗余因果模式解释并避免引入新虚假模式来学习最优基线值的方法。
• 建立因果模式与Shapley值之间的联系，证明因果模式代表了DNN的基元推理逻辑。

提出的方法

• 该方法使用解耦因果模式——即DNN中编码的稀疏、符号化的概念——来定义输入变量的真实缺失。
• 将基线值的忠实性形式化为：在掩码输入上解释DNN输出所需因果模式数量的最小化。
• 通过最小化现有因果效应的总强度而不引入新效应，来学习最优基线值。
• 证明错误的基线值会导致单一因果模式被解释为指数级数量的冗余模式。
• 利用多阶Shapley值和边际收益，对高阶因果交互进行分解与分析。
• 该框架采用一种损失函数，鼓励最小化且忠实的因果模式解释，从而提升归因的保真度。

实验结果

研究问题

• RQ1 在DNN归因中使用的基线值能否在不引入虚假信号或特征的前提下，忠实反映输入变量的缺失？
• RQ2 如何在不依赖人类直觉或分布假设的前提下，对基线值的忠实性进行理论评估？
• RQ3 DNN中的因果模式与Shapley值归因方法之间存在何种关系？
• RQ4 我们能否学习到能最小化冗余因果模式解释的最优基线值？
• RQ5 高阶因果效应如何在多阶Shapley值和边际收益中体现？

主要发现

• 错误的基线值会导致为解释同一效应而推断出指数级数量的冗余因果模式，从而损害归因保真度。
• 引入分布外（OOD）特征的基线值并不必然导致网络输出为分布外，这挑战了OOD基线总是不忠实的假设。
• 最优基线值最小化了解释DNN输出所需的因果模式数量，符合奥卡姆剃刀原则。
• 从DNN中提取的因果模式能够忠实模拟网络在所有2^n个掩码输入上的输出，证明其作为基元推理逻辑的作用。
• 高阶因果效应仅存在于高阶Shapley值和边际收益中，其粒度比标准Shapley值损失更精细。
• 所提出的方法学习到的基线值能同时减少冗余和虚假因果效应，显著提升归因可靠性。