[논문 리뷰] On Computing Probabilistic Explanations for Decision Trees

Marcelo Arenas, Pablo Barceló외 2명|arXiv (Cornell University)|2022. 06. 30.

Explainable Artificial Intelligence (XAI)인용 수 13

한 줄 요약

이 논문은 결정 트리에서 예측의 확률적 설명—구체적으로는 확률이 적어도 δ 이상일 때 예측을 정당화하는 특성의 부분집합인 δ-충분한 이유—을 계산하는 계산 복잡도를 조사한다. 최소 크기 또는 포함 관계에서 최소인 δ-충분한 이유를 찾는 것이 NP-난이도임을 증명하며, 두 개의 열린 문제를 해결하고, 불리안 회로에서의 난이도 결과를 더 제한된 결정 트리의 경우로 확장한다. 동시에 계산이 가능해지는 구조적 제약 조건을 규명하고, 실용적인 SAT 기반 해결 방법을 제시한다.

ABSTRACT

Formal XAI (explainable AI) is a growing area that focuses on computing explanations with mathematical guarantees for the decisions made by ML models. Inside formal XAI, one of the most studied cases is that of explaining the choices taken by decision trees, as they are traditionally deemed as one of the most interpretable classes of models. Recent work has focused on studying the computation of "sufficient reasons", a kind of explanation in which given a decision tree $T$ and an instance $x$, one explains the decision $T(x)$ by providing a subset $y$ of the features of $x$ such that for any other instance $z$ compatible with $y$, it holds that $T(z) = T(x)$, intuitively meaning that the features in $y$ are already enough to fully justify the classification of $x$ by $T$. It has been argued, however, that sufficient reasons constitute a restrictive notion of explanation, and thus the community has started to study their probabilistic counterpart, in which one requires that the probability of $T(z) = T(x)$ must be at least some value $δ\in (0, 1]$, where $z$ is a random instance that is compatible with $y$. Our paper settles the computational complexity of $δ$-sufficient-reasons over decision trees, showing that both (1) finding $δ$-sufficient-reasons that are minimal in size, and (2) finding $δ$-sufficient-reasons that are minimal inclusion-wise, do not admit polynomial-time algorithms (unless P=NP). This is in stark contrast with the deterministic case ($δ= 1$) where inclusion-wise minimal sufficient-reasons are easy to compute. By doing this, we answer two open problems originally raised by Izza et al. On the positive side, we identify structural restrictions of decision trees that make the problem tractable, and show how SAT solvers might be able to tackle these problems in practical settings.

연구 동기 및 목표

• 결정 트리에서 δ-충분한 이유의 계산 복잡도를 다루며, 결정론적 충분한 이유의 확률적 일반화인 δ-충분한 이유를 고려한다.
• Izza 등이 제기한 최소 δ-충분한 이유의 타당성에 관한 두 개의 열린 문제를 해결한다.
• Wäldchen 등이 제시한 불리안 회로에 대한 난이도 결과를 더 제한된 결정 트리의 경우로 확장한다.
• δ-충분한 이유 계산이 타당해지는 구조적 제약 조건을 규명한다.
• 실세계 환경에서 δ-충분한 이유 문제를 해결하기 위한 실용적 접근 방식을 SAT 솔버를 활용해 탐색한다.

제안 방법

• 랜덤 완성에서 동일한 예측을 유지할 확률이 적어도 δ 이상이 되는 특성 부분집합으로 δ-충분한 이유를 수학적으로 정의한다.
• 기존의 알려진 NP-난이도 문제들을 δ-충분한 이유 문제로 환원하여, 최소 크기 및 포함 관계에서 최소인 변형 모두에 대해 NP-완전성을 증명한다.
• 제한된 폭 또는 제한된 깊이 등의 구조적 제약 조건을 도입하여 문제의 타당성을 확보하고 다항 시간 내에 계산이 가능하게 한다.
• 제약 조건을 만족하는 경우에 대해 실용적인 해결 방법을 위해 SAT 솔버를 활용한다.
• MNIST 기반 결정 트리에서의 실증적 평가를 통해 계산된 δ-충분한 이유의 크기와 구조를 시각화하고 검증한다.
• 실세계 이미지 분류 작업에서 설명의 크기와 신뢰도 임계값 δ 사이의 상호 교환 관계를 분석한다.

실험 결과

연구 질문

• RQ1 결정 트리에서 최소 크기의 δ-충분한 이유를 계산하는 것은 계산적으로 타당한가, 아니면 NP-난이도인가?
• RQ2 δ < 1일 때도 결정 트리에서 포함 관계에서 최소인 δ-충분한 이유를 계산하는 것은 NP-난이도인가?
• RQ3 결정 트리에 대한 구조적 제약 조건이 δ-충분한 이유 계산을 타당하게 만들 수 있는가?
• RQ4 불리안 회로에 대한 난이도 결과가 더 제한된 결정 트리의 경우로 어떻게 확장되는가?
• RQ5 구조적 제약 조건이 만족될 경우, 실무에서 SAT 솔버를 효과적으로 사용해 δ-충분한 이유를 계산할 수 있는가?

주요 결과

• 결정 트리에서 최소 크기의 δ-충분한 이유를 계산하는 것은 δ < 1일 때조차도 NP-난이도이다.
• 포함 관계에서 최소인 δ-충분한 이유를 계산하는 것도 NP-난이도이며, 이는 결정론적 경우(δ = 1)에서는 타당한 반면, 확률적 경우에서는 그렇지 않다.
• 결정 트리의 깊이 또는 폭이 제한되어 있어도 문제의 난이도는 그대로 유지되어 본질적인 복잡성을 보여준다.
• 폭 제한 또는 깊이 제한 등의 구조적 제약 조건은 문제를 타당하게 만들 수 있으며, 이로 인해 다항 시간 내에 계산이 가능해진다.
• MNIST 기반 결정 트리에서의 실증 결과는 δ-충분한 이유가 특정 숫자와 모델에 따라 작을 수 있음을 보여주며, 예를 들어 k* = 5에서 49개의 특성 범위 내에서 나타난다.
• 제약 조건이 만족될 경우, 실무에서 SAT 솔버가 δ-충분한 이유 계산에 효과적으로 활용될 수 있다.