[논문 리뷰] The Inadequacy of Shapley Values for Explainability

Xuanxiang Huang, João Marques‐Silva|arXiv (Cornell University)|2023. 02. 16.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

논문은 Shapley 값이 설명에서 특성 중요도를 오도할 수 있음을 보여주며, 관련 없는 특성이 중요해 보이고 관련 있는 특성이 중요하지 않아 보이는 사례를 제시하고, 엄밀한 대안의 계산적 비실용성에 대해 논의한다.

ABSTRACT

This paper develops a rigorous argument for why the use of Shapley values in explainable AI (XAI) will necessarily yield provably misleading information about the relative importance of features for predictions. Concretely, this paper demonstrates that there exist classifiers, and associated predictions, for which the relative importance of features determined by the Shapley values will incorrectly assign more importance to features that are provably irrelevant for the prediction, and less importance to features that are provably relevant for the prediction. The paper also argues that, given recent complexity results, the existence of efficient algorithms for the computation of rigorous feature attribution values in the case of some restricted classes of classifiers should be deemed unlikely at best.

연구 동기 및 목표

• XAI에서 엄밀한 설명의 필요성을 촉진하고 SHAP/Shapley 기반 특성 기여도를 비판한다.
• 정확한 Shapley 값이 예측에 대한 특성 관련성을 잘못 분류할 수 있음을 보여준다.
• 추론적 설명을 Shapley 기반 기여도와 연관시켜 근본적 결함을 드러낸다.
• 관련성 존중하는 대체 특성 중요도 척도를 제안한다.
• 효율적인 엄밀한 기여도 산정 방법에 대한 계산 복잡성의 제약을 논의한다.

제안 방법

• 동일한 예측을 보장하는 고정 특성 부분집합을 나타내는 충분성 함수 sigma를 정의한다.
• 고정된 특성 집합과 미고정 특성 집합에 걸쳐 phi(S;M,v)에 기반하여 Sv(i) Shapley 값을 계산한다.
• 추론적 설명(AXp)과 대조적 설명(CXp)을 분석하고, sigma와의 최소 타격 집합 이중성과의 관계를 대조한다.
• sigma의 주원함수자(prime implicants), 필수 변수 및 특성 관련성 간의 관계를 설정한다.
• 모든 설명을 열거하여 무관한 특징에는 0을 할당하고 관련 있는 특징에는 0이 아닌 값을 할당하는 대체 척도를 제안한다.
• SHAP 결과가 정확한 Shapley 값 및 특징 관련성과 다르게 나타남을 보이고, 더 나은 정의의 계산적 실현 불가능성에 대해 주장한다.

실험 결과

연구 질문

• RQ1 무관한 특징이 0이 아닌 Shapley 값을 받는 분류기와 인스턴스가 존재하는가(I1)?
• RQ2 무관한 특징이 관련 있는 것보다 더 높은 순위를 차지하는 분류기와 인스턴스가 존재하는가(I2)?
• RQ3 관련 있는 특징이 0 Shapley 값을 갖는 분류기와 인스턴스가 존재하는가(I3)?
• RQ4 관련 특징이 0인 반면 무관한 특징이 0이 아닌 값을 갖는 분류기와 인스턴스가 존재하는가(I4)?
• RQ5 의미 있는 클래스를 위해 정확한 Shapley 값이나 그 변형을 효율적으로 계산할 수 있는가(예: d-DNNFs) P=NP를 의미하지 않는 한?

주요 결과

• SHAP의 근사 Shapley 값은 정확한 Shapley 값과 자주 다르게 나타나며, 특성 순서를 포함한 차이가 있다.
• 주어진 예측에 대해 무관한 특징이 0이 아닌 Shapley 값을 받는 사례(I1)가 있다.
• 관련 있는 특징이 0 Shapley 값을 갖는 사례(I3)가 있다.
• 예시들은 무관한 특징이 Shapley 기반 순위에서 관련 있는 특징을 능가할 수 있음을 보여준다(I2, I4).
• 특징 관련성을 판단하기 위한 일부 실용적인 사례가 존재하며, 특히 의사결정 트리에 대해 그렇지만 일반적으로 관련성 문제는 계산적으로 어려운 문제이다.
• 저자들은 모든 추론적 설명의 전체 집합에 기초한 간단하고 관련성을 존중하는 특징 중요도 척도를 제안하지만 계산적 난해함의 가능성이 있다.