[논문 리뷰] On the Complexity of SHAP-Score-Based Explanations: Tractability via Knowledge Compilation and Non-Approximability Results

Marcelo Arenas, Pablo Barceló외 2명|arXiv (Cornell University)|2021. 04. 16.

Explainable Artificial Intelligence (XAI)인용 수 14

한 줄 요약

이 논문은 지식 컴파일 기법을 활용하여 제품 분포 하에서 결정론적이고 분해 가능한 부울 회로에 대해 SHAP-스코어가 다항 시간 내에 계산될 수 있음을 입증한다. 또한, 단조 DNF 공식에 대해서조차 SHAP-스코어 계산이 #P-어려움임을 증명하고, 표준 복잡도 가정 하에 완전 다항 랜덤화 근사 계획(FPRAS)이 존재하지 않음을 보이며, 해석 가능한 인공지능에서의 근본적인 계산 한계를 드러낸다.

ABSTRACT

In Machine Learning, the $\\mathsf{SHAP}$-score is a version of the Shapley value that is used to explain the result of a learned model on a specific entity by assigning a score to every feature. While in general computing Shapley values is an intractable problem, we prove a strong positive result stating that the $\\mathsf{SHAP}$-score can be computed in polynomial time over deterministic and decomposable Boolean circuits. Such circuits are studied in the field of Knowledge Compilation and generalize a wide range of Boolean circuits and binary decision diagrams classes, including binary decision trees and Ordered Binary Decision Diagrams (OBDDs). We also establish the computational limits of the SHAP-score by observing that computing it over a class of Boolean models is always polynomially as hard as the model counting problem for that class. This implies that both determinism and decomposability are essential properties for the circuits that we consider. It also implies that computing $\\mathsf{SHAP}$-scores is intractable as well over the class of propositional formulas in DNF. Based on this negative result, we look for the existence of fully-polynomial randomized approximation schemes (FPRAS) for computing $\\mathsf{SHAP}$-scores over such class. In contrast to the model counting problem for DNF formulas, which admits an FPRAS, we prove that no such FPRAS exists for the computation of $\\mathsf{SHAP}$-scores. Surprisingly, this negative result holds even for the class of monotone formulas in DNF. These techniques can be further extended to prove another strong negative result: Under widely believed complexity assumptions, there is no polynomial-time algorithm that checks, given a monotone DNF formula $\\varphi$ and features $x,y$, whether the $\\mathsf{SHAP}$-score of $x$ in $\\varphi$ is smaller than the $\\mathsf{SHAP}$-score of $y$ in $\\varphi$.

연구 동기 및 목표

• 기계 학습에서 SHAP-스코어 기반 설명의 계산 복잡도를 조사하는 것.
• 특히 지식 컴파일의 맥락에서 SHAP-스코어가 효율적으로 계산될 수 있는 조건을 규명하는 것.
• DNF 공식과 같은 클래스에서 SHAP-스코어 계산을 위한 효율적인 근사 계획(예: FPRAS)이 존재하는지 여부를 규명하는 것.
• SHAP-스코어 계산이 다항 시간 내로 가능하기 위해 결정론성과 분해 가능성의 필요성을 확립하는 것.
• 부울 모델에서의 근사와 SHAP-스코어 비교의 한계를 탐색하는 것.

제안 방법

• 저자들은 협력 게임 이론을 활용하여 특징을 분류 결과에 기여하는 플레이어로 모델링하고, SHAP-스코어를 정식화한다.
• 저자들은 결정론적이고 분해 가능한 부울 회로에서 제품 분포 하에 SHAP-스코어가 다항 시간 내로 계산될 수 있음을 증명한다.
• 복잡한 모델을 효율적인 SHAP-스코어 평가를 지원하는 다항 시간 내로 계산 가능한 회로 표현으로 컴파일하기 위해 지식 컴파일 기법을 활용한다.
• 논문은 SHAP-스코어 계산을 모델 카운팅 문제로의 환원을 확립하여, 두 문제의 계산 복잡도가 동일하다는 것을 보여준다.
• 복잡도 이론적 가정을 사용하여, 단조 DNF 공식에 대해 SHAP-스코어 계산에 대한 FPRAS가 존재하지 않음을 증명한다.
• 또한, 한 특징의 SHAP-스코어가 다른 특징의 것보다 작은지 여부를 결정하는 것도 표준 가정 하에 다항 시간 내로 불가능함을 보여준다.

실험 결과

연구 질문

• RQ1 SHAP-스코어가 다항 시간 내로 계산될 수 있는 조건은 무엇인가?
• RQ2 DNF 공식에 대해 SHAP-스코어 계산을 위한 완전 다항 랜덤화 근사 계획(FPRAS)이 존재하는가?
• RQ3 부울 회로에서 SHAP-스코어 계산과 모델 카운팅 간의 관계는 무엇인가?
• RQ4 단조 DNF 공식에서 특징 간에 SHAP-스코어를 효율적으로 비교할 수 있는가?
• RQ5 SHAP-스코어 계산이 다항 시간 내로 가능하기 위해 결정론성과 분해 가능성은 필수적인가?

주요 결과

• 제품 분포 하에서 결정론적이고 분해 가능한 부울 회로에 대해 SHAP-스코어는 다항 시간 내로 계산될 수 있다.
• 이 다항 시간 계산 가능성 결과는 이진 특징뿐만 아니라 유한 도메인을 가진 특징으로도 확장된다.
• 모든 문장 공식의 클래스에서 SHAP-스코어 계산은 #P-어려움이며, 단조 DNF 공식에 대해서조차 마찬가지이다.
• 넓게 수용된 복잡도 가정 하에 DNF 공식에 대해 SHAP-스코어 계산에 대한 완전 다항 랜덤화 근사 계획(FPRAS)이 존재하지 않는다.
• 단조 DNF 공식에서 한 특징의 SHAP-스코어가 다른 특징의 것보다 작은지 여부를 결정하는 것은 계산적으로 불가능하다.
• 결정론성과 분해 가능성은 필수적이다: 이 두 성질 중 하나를 제거하면 SHAP-스코어 계산은 #P-어려움이 된다.