[论文解读] Sampling Permutations for Shapley Value Estimation

Rory Mitchell, Joshua Cooper+2 more|arXiv (Cornell University)|Apr 25, 2021

Machine Learning and Algorithms参考文献 46被引用 26

一句话总结

论文开发了基于核的方法和球面放松方法，以更高效地对置换进行采样以估计Shapley值，从而比标准蒙特卡洛收敛更快。

ABSTRACT

Game-theoretic attribution techniques based on Shapley values are used to interpret black-box machine learning models, but their exact calculation is generally NP-hard, requiring approximation methods for non-trivial models. As the computation of Shapley values can be expressed as a summation over a set of permutations, a common approach is to sample a subset of these permutations for approximation. Unfortunately, standard Monte Carlo sampling methods can exhibit slow convergence, and more sophisticated quasi-Monte Carlo methods have not yet been applied to the space of permutations. To address this, we investigate new approaches based on two classes of approximation methods and compare them empirically. First, we demonstrate quadrature techniques in a RKHS containing functions of permutations, using the Mallows kernel in combination with kernel herding and sequential Bayesian quadrature. The RKHS perspective also leads to quasi-Monte Carlo type error bounds, with a tractable discrepancy measure defined on permutations. Second, we exploit connections between the hypersphere $\mathbb{S}^{d-2}$ and permutations to create practical algorithms for generating permutation samples with good properties. Experiments show the above techniques provide significant improvements for Shapley value estimates over existing methods, converging to a smaller RMSE in the same number of model evaluations.

研究动机与目标

• 在机器学习模型中，Shapley值的精确计算是NP-hard的，因此激励高效的近似估计。
• 将基于置换的采样表征为RKHS问题，以便实现先进的采样策略。
• 开发并比较基于核的方法和球面放松采样方法，以降低估计误差。
• 为采样的置换集合提供误差界和差异性度量。
• 在实际模型上评估这些方法，以证明相较于标准采样在RMSE方面的改进。

提出的方法

• 在置换上定义一个RKHS，使用如Kendall、Mallows和Spearman等核来衡量置换相似性。
• 应用核驱动采样（kernel herding）和序列贝叶斯求积法（sequential Bayesian quadrature），以生成用于Shapley值估计的高质量置换样本。
• 使用置换空间上的RKHS不一致性度量导出准蒙特卡洛(quasi-Monte Carlo)型误差界。
• 引入两种基于将置换映射到超球面 S^(d-2) 的采样方案，以生成间距良好的样本，包括正交球面码和Sobol型置换。
• 给出在均匀置换分布下核值的解析期望，以便高效计算基于核的求积。

实验结果

研究问题

• RQ1 如何通过比均匀蒙特卡洛更有效地对置换进行采样来改进模型的Shapley值估计？
• RQ2 哪些基于RKHS的方法和核能够为基于置换的Shapley估计带来更快的收敛和可靠的误差界？
• RQ3 利用置换几何结构（通过球面放松）的方法是否能够生成更高质量的Shapley估计置换样本？
• RQ4 在实际模型中，基于核的方法相对于基于球面的采样，在实际性能和离散度方面有哪些好处？
• RQ5 在提升树和卷积神经网络（CNN）等模型上应用时，这些方法在RMSE和方差方面的表现如何？

主要发现

• 在某些普遍性条件下，使用Mallows核的核驱动采样在Shapley值估计上达到O(1/n)的收敛率。
• 序列贝叶斯求积提供了一种有原则性的方法来获取加权置换样本并估计积分方差。
• 在RKHS中的不一致性分析给出一个可处理的界限，将采样质量与置换基函数的积分误差联系起来。
• 基于球面的采样方法将置换映射到S^(d-2)超球面，通过正交球面码和类似Sobol的置换来生成分布良好的样本。
• 实证结果显示相较于标准蒙特卡洛，在多个模型上Shapley估计的RMSE显著提升，并对样本集合给出了评估的不一致性度量。