[论文解读] On the Complexity of SHAP-Score-Based Explanations: Tractability via Knowledge Compilation and Non-Approximability Results

Marcelo Arenas, Pablo Barceló+2 more|arXiv (Cornell University)|Apr 16, 2021

Explainable Artificial Intelligence (XAI)被引用 14

一句话总结

本文证明，在产品分布下，对于确定性且可分解的布尔电路，SHAP得分可在多项式时间内计算，该结果基于知识编译技术。此外，本文进一步证明，即使对于单调DNF公式，计算SHAP得分也是#P难的，并且在标准复杂性假设下，不存在完全多项式随机近似方案（FPRAS），揭示了可解释人工智能中的基本计算限制。

ABSTRACT

In Machine Learning, the $\\mathsf{SHAP}$-score is a version of the Shapley value that is used to explain the result of a learned model on a specific entity by assigning a score to every feature. While in general computing Shapley values is an intractable problem, we prove a strong positive result stating that the $\\mathsf{SHAP}$-score can be computed in polynomial time over deterministic and decomposable Boolean circuits. Such circuits are studied in the field of Knowledge Compilation and generalize a wide range of Boolean circuits and binary decision diagrams classes, including binary decision trees and Ordered Binary Decision Diagrams (OBDDs). We also establish the computational limits of the SHAP-score by observing that computing it over a class of Boolean models is always polynomially as hard as the model counting problem for that class. This implies that both determinism and decomposability are essential properties for the circuits that we consider. It also implies that computing $\\mathsf{SHAP}$-scores is intractable as well over the class of propositional formulas in DNF. Based on this negative result, we look for the existence of fully-polynomial randomized approximation schemes (FPRAS) for computing $\\mathsf{SHAP}$-scores over such class. In contrast to the model counting problem for DNF formulas, which admits an FPRAS, we prove that no such FPRAS exists for the computation of $\\mathsf{SHAP}$-scores. Surprisingly, this negative result holds even for the class of monotone formulas in DNF. These techniques can be further extended to prove another strong negative result: Under widely believed complexity assumptions, there is no polynomial-time algorithm that checks, given a monotone DNF formula $\\varphi$ and features $x,y$, whether the $\\mathsf{SHAP}$-score of $x$ in $\\varphi$ is smaller than the $\\mathsf{SHAP}$-score of $y$ in $\\varphi$.

研究动机与目标

• 研究基于SHAP得分的机器学习解释的计算复杂性。
• 识别SHAP得分可高效计算的条件，特别是在知识编译的背景下。
• 确定针对如DNF公式等类别，SHAP得分计算是否存在高效的近似方案（例如FPRAS）。
• 确立确定性和可分解性对于SHAP得分计算可 tractable 的必要性。
• 探索布尔模型中SHAP得分近似与比较的极限。

提出的方法

• 作者使用合作博弈论形式化SHAP得分，将特征建模为对分类结果有贡献的参与者。
• 他们证明，在产品分布下，对于确定性且可分解的布尔电路，SHAP得分可在多项式时间内计算。
• 他们采用知识编译技术，将复杂模型编译为支持高效SHAP得分评估的可 tractable 电路表示。
• 本文建立了从SHAP得分计算到模型计数的归约，表明两者在复杂性上是计算等价的。
• 基于复杂性理论假设，他们证明在单调DNF公式上，不存在SHAP得分计算的FPRAS。
• 他们进一步表明，即使在标准假设下，判断一个特征的SHAP得分是否小于另一个特征的SHAP得分，在多项式时间内也是不可行的。

实验结果

研究问题

• RQ1 在何种条件下，SHAP得分可被多项式时间计算？
• RQ2 是否存在针对DNF公式上SHAP得分计算的完全多项式随机近似方案（FPRAS）？
• RQ3 SHAP得分计算与布尔电路中模型计数之间有何关系？
• RQ4 能否在单调DNF公式中高效比较不同特征的SHAP得分？
• RQ5 确定性和可分解性是否是SHAP得分计算可 tractable 的必要条件？

主要发现

• 在产品分布下，SHAP得分可在确定性且可分解的布尔电路中以多项式时间计算。
• 该可 tractable 结果可扩展至具有有限域的特征，而不仅限于二值特征。
• 在命题公式类的DNF中，计算SHAP得分是#P难的，即使对于单调DNF公式也是如此。
• 在广泛接受的复杂性假设下，DNF公式上的SHAP得分计算不存在完全多项式随机近似方案（FPRAS）。
• 在单调DNF公式中，判断一个特征的SHAP得分是否小于另一个特征的SHAP得分在计算上是不可行的。
• 确定性和可分解性至关重要：若移除任一性质，SHAP得分计算将变为#P难。