[论文解读] A New Interaction Index inspired by the Taylor Series

Ashish Agarwal, Kedar Dhamdhere+1 more|arXiv (Cornell University)|Feb 14, 2019

Multi-Criteria Decision Making被引用 4

一句话总结

本文提出了Shapley-Taylor指数，这是一种新颖的交互Attribution方法，通过借鉴泰勒级数的分解方式，将Shapley值推广至最多大小为k的特征交互，以量化模型集合行为的多重线性扩展中的特征交互。该方法在标准Shapley公理基础上增加了新的交互分配公理，提供了一种系统化的方法，将预测结果归因于特征交互，且在三个模型上均获得了经验洞察。

ABSTRACT

The attribution problem, that is the problem of attributing a model's prediction to its base features, is well-studied. We extend the notion of attribution to also apply to feature interactions. The Shapley value is a commonly used method to attribute a model's prediction to its base features. We propose a generalization of the Shapley value called Shapley-Taylor index that attributes the model's prediction to interactions of subsets of features up to some size k. The method is analogous to how the truncated Taylor Series decomposes the function value at a certain point using its derivatives at a different point. In fact, we show that the Shapley Taylor index is equal to the Taylor Series of the multilinear extension of the set-theoretic behavior of the model. We axiomatize this method using the standard Shapley axioms -- linearity, dummy, symmetry and efficiency -- and an additional axiom that we call the interaction distribution axiom. This new axiom explicitly characterizes how interactions are distributed for a class of functions that model pure interaction. We contrast the Shapley-Taylor index against the previously proposed Shapley Interaction index (cf. [9]) from the cooperative game theory literature. We also apply the Shapley Taylor index to three models and identify interesting qualitative insights.

研究动机与目标

• 将Shapley值从单个特征Attribution扩展至最多大小为k的特征交互Attribution。
• 通过类比泰勒级数，开发一种系统化方法，将模型预测归因于特征交互。
• 对方法进行公理化表征，包括针对纯交互函数的新型交互分配公理。
• 将所提出的Shapley-Taylor指数与合作博弈论中的现有Shapley交互指数进行对比。
• 通过在三个不同模型上的应用，展示该方法在定性可解释性方面的优势。

提出的方法

• 通过在参考点处截断模型集合行为的多重线性扩展的泰勒级数展开，推导出Shapley-Taylor指数。
• 该方法通过将预测贡献不仅分配给单个特征，还分配给大小最多为k的特征子集，从而推广了Shapley值。
• 满足标准Shapley公理：线性性、虚拟性、对称性和效率性。
• 引入了一项新的交互分配公理，以显式表征纯交互函数中交互值在子集间的分配方式。
• 使用模型行为的多重线性扩展作为泰勒级数分解的底层函数。
• 所得指数能够对模型预测提供唯一且可解释的分解，其贡献来自单个特征及其交互。

实验结果

研究问题

• RQ1 如何系统性地将Shapley值扩展至最多大小为k的特征交互Attribution？
• RQ2 哪些公理性质是表征公平且一致的交互Attribution方法所必需且充分的？
• RQ3 在理论基础和可解释性方面，所提出的Shapley-Taylor指数与Shapley交互指数相比有何差异？
• RQ4 泰勒级数类比在概念和计算框架上如何提升交互Attribution的性能？
• RQ5 通过将Shapley-Taylor指数应用于真实世界模型，能够获得关于模型行为的哪些定性洞察？

主要发现

• Shapley-Taylor指数在数学上等价于模型集合行为的多重线性扩展的截断泰勒级数展开。
• 该方法满足标准Shapley公理，并通过增加交互分配公理而被唯一表征。
• 交互分配公理为建模纯交互效应的函数提供了正式的交互值分配机制。
• 与Shapley交互指数相比，Shapley-Taylor指数在交互Attribution方面提供了更结构化且理论基础更扎实的方法。
• 在三个模型上的实证应用揭示了关于特征交互模式的有意义的定性洞察，证明了该方法的可解释性和实际效用。
• 该方法能够将模型预测进行分层分解，归因于单个特征及其交互，从而增强模型的透明度。