[논문 리뷰] A Refutation of Shapley Values for Explainability

Xuanxiang Huang, João Marques‐Silva|arXiv (Cornell University)|2023. 09. 06.

Explainable Artificial Intelligence (XAI)Computer Science인용 수 3

한 줄 요약

이 논문은 설명 가능한 AI에서 기능 할당에 셰플리 값(Shapley values)을 사용하는 것을 반박한다. 그 이유는 특징 수가 작은 임계값을 초과하는 모든 경우에 대해, 관련 없는 특징이 관련 있는 특징보다 더 높은 셰플리 값을 받는 부울 함수가 존재하기 때문이다. 이는 셰플리 값이 규칙 기반 설명에서 기능 중요도를 체계적으로 잘못 표현할 수 있음을 보여준다.

ABSTRACT

Recent work demonstrated the existence of Boolean functions for which Shapley values provide misleading information about the relative importance of features in rule-based explanations. Such misleading information was broadly categorized into a number of possible issues. Each of those issues relates with features being relevant or irrelevant for a prediction, and all are significant regarding the inadequacy of Shapley values for rule-based explainability. This earlier work devised a brute-force approach to identify Boolean functions, defined on small numbers of features, and also associated instances, which displayed such inadequacy-revealing issues, and so served as evidence to the inadequacy of Shapley values for rule-based explainability. However, an outstanding question is how frequently such inadequacy-revealing issues can occur for Boolean functions with arbitrary large numbers of features. It is plain that a brute-force approach would be unlikely to provide insights on how to tackle this question. This paper answers the above question by proving that, for any number of features, there exist Boolean functions that exhibit one or more inadequacy-revealing issues, thereby contributing decisive arguments against the use of Shapley values as the theoretical underpinning of feature-attribution methods in explainability.

연구 동기 및 목표

• 임의의 수의 특징을 가진 부울 함수에서 셰플리 값에 의한 오해의 기능 중요도 할당이 흔한지 혹은 드문지 조사하기 위해.
• 작은 함수에 대해 브루트 포스 탐색에 의존한 이전 연구의 한계를 해결하기 위해, 작은 함수에 국한되지 않고 더 큰 특징 집합으로 일반화할 수 있도록 하기 위해.
• 특징 수가 작은 임계값을 초과하는 모든 경우에 대해, 관련 있는 특징과 관련이 없는 특징 간의 상대적 중요도 순서가 잘못될 수 있음을 공식적으로 증명하기 위해.
• 단지 경험적으로가 아니라 체계적으로 오해의 원인이 되는 예를 만들 수 있도록 구성적 증명을 제공하기 위해.
• 규칙 기반 모델에서의 기능 선택 원칙과의 본질적 불일치를 보여줌으로써, 셰플리 값의 이론적 기반을 도전하기 위해.

제안 방법

• n개의 변수를 가진 부울 함수의 가족을 구성하여, 한 개의 관련 없는 특징(x_{n-1} 등)이 관련 있는 특징(x_n 등)보다 더 높은 셰플리 값을 받도록 보장한다.
• 층화된 함수 정의를 사용: \kappa(x_{1..m}, x_{n-1}, x_n), 여기서 출력은 \kappa_1, \kappa_2, \kappa_3에 의존하며, \kappa_3는 목표 지점에서 하밍 거리 2 이내에서는 1로 설정된다.
• 셰플리 값 공식을 적용: \mathsf{Sv}(i) = \sum_{\mathcal{S} \subseteq \mathcal{F} \setminus \{i\}} \frac{|\mathcal{S}|!(m - |\mathcal{S}|)!}{(m+1)!} \left( \phi(\mathcal{S} \cup \{i\}) - \phi(\mathcal{S}) \right), 크기가 m-4에서 m+1인 부분집합에 집중한다.
• 부분집합을 통한 마진 기여를 분석하여, 관련 없는 특징 x_{n-1}의 셰플리 값이 관련 있는 특징 x_n의 것보다 높음을 보여주며, x_n는 예측에 필수적임에도 불구하고 그렇다.
• 비판적 부분집합에 대한 기여의 합을 계산하여 \mathsf{Sv}(n-1) > \mathsf{Sv}(n) > 0 를 증명한다.
• m \geq 5 인 모든 경우에 이러한 반례가 존재하며, \kappa_1에 대해 2^{2^{n-2} - (n-2) - 1} - 1가지의 가능한 구성이 존재하여, 이러한 함수의 수가 매우 많음을 보장한다.

실험 결과

연구 질문

• RQ1 셰플리 값은 규칙 기반 모델에서 기능 중요도를 체계적으로 잘못 순위 매길 수 있는가? 즉, 관련 없는 특징이 관련 있는 특징보다 더 높은 값을 받을 수 있는가?
• RQ2 임의의 수의 특징을 가진 부울 함수 전반에 걸쳐 이러한 오해의 사례는 희귀한가, 아니면 흔한가?
• RQ3 임의로 큰 수의 특징을 가진 명시적인 부울 함수를 구성하여 셰플리 값이 진정한 기능 관련성을 반영하지 못하는가?
• RQ4 셰플리 값의 설명 가능성에 대한 부적합성은 구조적 결함인가, 아니면 작은 특수 케이스 함수에 국한된가?
• RQ5 이러한 오해의 행동을 보이는 함수의 집합 크기는 얼마이며, 특징 수와 함께 어떻게 증가하는가?

주요 결과

• 모든 특징 수 n > 3 인 경우에 대해, 관련 없는 특징이 관련 있는 특징보다 더 높은 셰플리 값을 받는 부울 함수가 존재한다.
• 논문은 이러한 함수를 명시적으로 구성하여, 문제가 작은 경우나 드문 케이스에 국한되지 않고 큰 n에 대해서도 일반적으로 발생함을 증명한다.
• 관련 없는 특징 x_{n-1}의 셰플리 값이 관련 있는 특징 x_n의 것보다 더 크며, \mathsf{Sv}(n-1) > \mathsf{Sv}(n) > 0 임을 부분집합 기여 분석을 통해 보여준다.
• 크기 m-4에서 m+1인 부분집합에 대해 x_n의 마진 기여 합이 양수임을 보여주어 \mathsf{Sv}(n) > 0 를 증명하고, x_{n-1}의 값이 더 크다는 것을 확인한다.
• 최소 2^{2^{n-2} - (n-2) - 1} - 1개의 서로 다른 함수에서 이러한 순위 오류가 발생하며, 이는 상당한 수의 반례가 있음을 시사한다.
• 결과는 m \geq 5 인 모든 경우에 성립하며, 구성 방법이 특징 수에 관계없이 문제의 지속성을 보장하여, 설명 가능성에서 셰플리 값의 일반적 적용 가능성을 뒤흔든다.