[论文解读] Explaining Deep Neural Networks with a Polynomial Time Algorithm for Shapley Values Approximation
本论文提出 Deep Approximate Shapley Propagation (DASP)，一种多项式时间的方法，用于近似深度神经网络的 Shapley 值，并表明相比现有方法，在多个数据集上获得更准确的归因。
The problem of explaining the behavior of deep neural networks has recently gained a lot of attention. While several attribution methods have been proposed, most come without strong theoretical foundations, which raises questions about their reliability. On the other hand, the literature on cooperative game theory suggests Shapley values as a unique way of assigning relevance scores such that certain desirable properties are satisfied. Unfortunately, the exact evaluation of Shapley values is prohibitively expensive, exponential in the number of input features. In this work, by leveraging recent results on uncertainty propagation, we propose a novel, polynomial-time approximation of Shapley values in deep neural networks. We show that our method produces significantly better approximations of Shapley values than existing state-of-the-art attribution methods.
研究动机与目标
- 通过公理比较来激励在 DNNs 中使用 Shapley 值以实现可靠的局部解释。
- 为深度网络中的 Shapley 值开发一个多项式时间近似算法（DASP）。
- 在多样的数据集和架构上对 DASP 进行与最先进归因方法的经验比较评估。
提出的方法
- 为神经网络输入构建以零基线为基础的 Shapley 值表达。
- 通过对不同大小的联盟 k 的联盟进行贡献评估，使用联盟分布来近似期望联盟。
- 使用 Lightweight Probabilistic Networks (LPN) 和矩匹配在网络中传播输入不确定性，以获得输出统计量。
- 将联盟表示为高斯分布的输入，并通过网络层（线性、ReLU、最大池化）计算均值/方差的传播。
- 通过在采样的联盟大小（K）下比较含有或不含每个特征的网络输出并对贡献进行平均，来计算近似的 Shapley 值。
- 在测试所有联盟大小时实现 O(N^2) 次评估的多项式时间复杂度，或在减少大小集合时实现 O(KN) 次评估。
实验结果
研究问题
- RQ1Shapley 值是否能够在跨体系结构的 DNN 中提供基于公理的、原理性扎实的归因？
- RQ2在多项式时间内近似 DNN 输入的 Shapley 值而不过度损失精度，是否可行？
- RQ3在跨数据集和架构的精度与效率方面，DASP 与现有的基于反向传播和扰动的归因方法相比如何？
主要发现
- DASP 在所测试任务上提供的 Shapley 值归因比竞争方法更为准确。
- 该方法可扩展到 N 个输入特征，具有多项式时间评估（使用所有联盟大小时为 O(N^2)）。
- 输入联盟被建模为高斯分布，通过基于 LPN 的不确定性传播实现均值和方差在网络中的传播。
- 在帕金森病残疾评估、DNA 序列分类和 MNIST 的实证结果显示，相对于易产生偏差或基于采样的方法具有更有利的表现。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。