[논문 리뷰] The Tractability of SHAP-scores over Deterministic and Decomposable Boolean Circuits.

Marcelo Arenas, Pablo Barceló외 2명|arXiv (Cornell University)|2020. 07. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 8인용 수 3

한 줄 요약

이 논문은 결정론적이고 분해 가능한 부울 회로(예: 결정 트리 및 OBDD)에서 SHAP 점수를 다항 시간 내에 계산할 수 있음을 증명한다. 이는 이러한 회로의 처리 가능한 구조를 활용한 결과이다. 또한, 임의의 부울 회로 클래스에 대해 SHAP 점수 계산이 모델 카운팅 문제와 동일한 난이도를 가짐을 입증하여, DNF 공식에 대해서는 #P-난이도임을 보이며, 이는 처리 가능성에 있어 결정론성의 필수성을 시사한다.

ABSTRACT

Scores based on Shapley values are currently widely used for providing explanations to classification results over machine learning models. A prime example of this corresponds to the influential SHAP-score, a version of the Shapley value in which the contribution of a set $S$ of features from a given entity $\mathbf{e}$ over a model $M$ is defined as the expected value in $M$ of the set of entities $\mathbf{e}'$ that coincide with $\mathbf{e}$ over all features in $S$. While in general computing Shapley values is a computationally intractable problem, it has recently been claimed that the SHAP-score can be computed in polynomial time over the class of decision trees. In this paper, we provide a proof of a stronger result over Boolean models: the SHAP-score can be computed in polynomial time over deterministic and decomposable Boolean circuits, also known as tractable probabilistic circuits. Such circuits encompass a wide range of Boolean circuits and binary decision diagrams classes, including binary decision trees and Ordered Binary Decision Diagrams (OBDDs). Moreover, we establish the computational limits of the notion of SHAP-score by showing that computing it over a class of Boolean models is always (polynomially) as hard as the model counting problem for this class (under some mild condition). This implies, for instance, that computing the SHAP-score for DNF propositional formulae is a #P-hard problem, and, thus, that determinism is essential for the circuits that we consider.

연구 동기 및 목표

• 설명 가능 인공지능에서 사용되는 광범위한 부울 회로 클래스에 대해 SHAP 점수의 계산적 처리 가능성(tractability)을 확립하기 위해.
• 다양한 부울 회로 클래스에 걸쳐 SHAP 점수 계산의 기본적인 계산 복잡도를 조사하기 위해.
• 결정 트리에서의 SHAP 점수 처리 가능성(tractability)이 더 일반적인 회로 클래스로 확장 가능한지 규명하기 위해.
• SHAP 점수 계산이 다항 시간 내에 가능해지는 데 필요한 최소한의 구조 조건—특히 결정론성과 분해 가능성—을 특정하기 위해.
• SHAP 점수 계산과 부울 논리에서의 모델 카운팅 문제 간의 관계를 명확히 하기 위해.

제안 방법

• 결정론적이고 분해 가능한 부울 회로(d-DNNF)의 구조적 특성을 활용하여, 동적 프로그래밍을 통해 SHAP 점수를 효율적으로 계산한다.
• SHAP 점수의 정의를 특징 부분집합에 대한 기대 모델 출력으로 재정의하며, 이는 회로의 분해 구조 내 조건부 기대값을 활용한다.
• 기존의 처리 가능한 모델 카운팅 기법을 적용하여 필요한 기대값을 효율적으로 계산하며, 회로의 분해 가능성과 결정론성을 활용한다.
• SHAP 점수 계산 문제를 하위회로에서의 모델 카운팅 문제로 환원하여, 브루트 포스 탐색을 피하기 위해 회로의 계층적 구조를 활용한다.
• 서로 겹치지 않는 부분회로에서의 결과를 집계하는 재귀적 알고리즘을 사용하여 다항 시간 복잡도를 보장한다.
• SHAP 점수 계산 문제를 모델 카운팅 문제로 공식적으로 환원하여, 약한 조건 하에서 계산 난이도의 동등성을 증명한다.

실험 결과

연구 질문

• RQ1 결정론적이고 분해 가능한 부울 회로에서 SHAP 점수를 다항 시간 내에 계산할 수 있는가?
• RQ2 결정 트리에서의 SHAP 점수 처리 가능성은 더 넓은 범위의 부울 회로 클래스로 확장 가능한가?
• RQ3 임의의 부울 회로 클래스에 대해 SHAP 점수 계산의 기본적인 계산 복잡도는 무엇인가?
• RQ4 SHAP 점수 계산의 복잡도는 명제 논리에서의 모델 카운팅 문제와 어떻게 관련이 있는가?
• RQ5 이 맥락에서 다항 시간 내 SHAP 점수 계산을 가능하게 하기 위해 결정론성이 필수적인 조건인가?

주요 결과

• 결정론적이고 분해 가능한 부울 회로, 즉 OBDD와 이진 결정 트리 포함,에서 SHAP 점수를 다항 시간 내에 계산할 수 있다.
• 일반적인 부울 회로 클래스에 대해 SHAP 점수 계산의 계산 복잡도는 약한 조건 하에서 모델 카운팅 문제의 복잡도와 동일하다.
• DNF 공식에 대해 SHAP 점수를 계산하는 것은 #P-난이도이며, 이는 처리 가능성 확보를 위해 결정론성과 같은 구조적 제약 조건이 필수적임을 시사한다.
• 결과적으로, 이 연구는 결정론성이 부울 회로 맥락에서 처리 가능한 SHAP 점수 계산을 가능하게 하기 위한 필수 조건임을 입증한다.
• 이 프레임워크는 처리 가능한 확률적 회로 기반의 다양한 설명 가능 인공지능 모델에 대해 효율적인 설명 생성을 가능하게 한다.
• 모델 카운팅으로의 환원은 다양한 회로 클래스 간 SHAP 점수 계산의 복잡도 이론적 통합적 이해를 제공한다.