[论文解读] Algorithms to estimate Shapley value feature attributions

Hugh Chen, Ian Covert+2 more|arXiv (Cornell University)|Jul 15, 2022

Explainable Artificial Intelligence (XAI)被引用 21

一句话总结

本文对24种用于估计Shapley值解释的算法进行分类和综述，将特征的移除方式与估计方式分离，并分析模型无关与模型特定方法。

ABSTRACT

Feature attributions based on the Shapley value are popular for explaining machine learning models; however, their estimation is complex from both a theoretical and computational standpoint. We disentangle this complexity into two factors: (1)~the approach to removing feature information, and (2)~the tractable estimation strategy. These two factors provide a natural lens through which we can better understand and compare 24 distinct algorithms. Based on the various feature removal approaches, we describe the multiple types of Shapley value feature attributions and methods to calculate each one. Then, based on the tractable estimation strategies, we characterize two distinct families of approaches: model-agnostic and model-specific approximations. For the model-agnostic approximations, we benchmark a wide class of estimation approaches and tie them to alternative yet equivalent characterizations of the Shapley value. For the model-specific approximations, we clarify the assumptions crucial to each method's tractability for linear, tree, and deep models. Finally, we identify gaps in the literature and promising future research directions.

研究动机与目标

• 解释为什么Shapley值解释在模型可解释性中受欢迎。
• 将Shapley解释的复杂性分解为特征移除和估计策略。
• 对广泛的Shapley值估计算法进行分类和基准测试。
• 澄清线性、树模型和深度模型等模型特定方法背后的假设。
• 识别现有空白并提出Shapley值解释的未来研究方向。

提出的方法

• 使用Shapley值定义用于解释单个预测的合作博弈。
• 描述并比较移除方法：基线、边际和条件Shapley值。
• 将估计策略分为模型无关（如KernelSHAP、采样、多线性扩展）和模型特定方法（线性、树和深度模型）。
• 提供估计方法与等效Shapley值表征之间的经验联系。
• 讨论不同基线和分布在偏差、方差和可用性方面的权衡。

实验结果

研究问题

• RQ1 在计算Shapley值解释时，移除特征的不同方式有哪些？
• RQ2 模型无关与模型特定的估计方法在可行性与准确性方面如何比较？
• RQ3 基线、边际与条件Shapley值估计背后有哪些假设？
• RQ4 特征之间的相关性和编码选择如何影响Shapley值归因？
• RQ5 当前文献存在哪些空白，哪些未来方向有前景？

主要发现

• 存在24种在特征移除和可实现估计策略方面结合Shapley值解释的不同算法。
• 基线、边际和条件移除方法导致不同的归因解释和估计挑战。
• 边际Shapley值通常比条件Shapley值更易估计，尤其是对于模型无关的方法。
• 条件Shapley值在相关特征之间捕捉信用分配，这可以揭示隐藏的依赖关系，但在某些情况下可能将信用分散得不现实。
• 模型无关方法具有灵活性但具有随机性，而模型特定方法更快但依赖于更强的假设。
• 本文指出空白并提出未来在提高估计技术和理论理解方面的方向。