[논문 리뷰] SHAP-IQ: Unified Approximation of any-order Shapley Interactions

Fabian Fumagalli, Maximilian Muschalik외 3명|arXiv (Cornell University)|2023. 03. 02.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

SHAP-IQ는 어떤 순서의 Cardinal Interaction Indices (CII)를 근사하기 위한 통합적이고 편향 없이 일관된 샘플링 기반 방법을 제공하여 SII, STI, FSI 전반에 걸친 Shapley 상호작용 계산을 통합하고 단순화합니다.

ABSTRACT

Predominately in explainable artificial intelligence (XAI) research, the Shapley value (SV) is applied to determine feature attributions for any black box model. Shapley interaction indices extend the SV to define any-order feature interactions. Defining a unique Shapley interaction index is an open research question and, so far, three definitions have been proposed, which differ by their choice of axioms. Moreover, each definition requires a specific approximation technique. Here, we propose SHAPley Interaction Quantification (SHAP-IQ), an efficient sampling-based approximator to compute Shapley interactions for arbitrary cardinal interaction indices (CII), i.e. interaction indices that satisfy the linearity, symmetry and dummy axiom. SHAP-IQ is based on a novel representation and, in contrast to existing methods, we provide theoretical guarantees for its approximation quality, as well as estimates for the variance of the point estimates. For the special case of SV, our approach reveals a novel representation of the SV and corresponds to Unbiased KernelSHAP with a greatly simplified calculation. We illustrate the computational efficiency and effectiveness by explaining language, image classification and high-dimensional synthetic models.

연구 동기 및 목표

• XAI에서 단일 특징 기여도 외의 특징 간 상호작용을 정량화할 필요성에 대한 동기 부여.
• Cardinal Interaction Index (CII) 프레임워크 하에서 Shapley 상호작용 개념 일반화.
• 임의의 CIIs에 대해 이론적 보장을 갖는 단일 샘플링 기반 추정기를 개발.
• Shapley 값에 대한 Unbiased KernelSHAP를 포함한 기존 방법과의 연결성 밝힘.
• 언어, 이미지, 합성 모델 전반에 걸친 계산 효율성과 적용 가능성 시연

제안 방법

• D의 모든 부분집합 T들의 합으로 표현되는 새로운 CII 표현을 도입하고, 가중치는 |T| 및 |T ∩ S|에 의존하도록 정의한다.
• 대표 표현을 이용한 Monte Carlo 추정기로 SHAP-IQ를 정의하고, 조정 가능한 샘플링 순서 k0와 분포 p_{k0}(T)를 사용한다.
• SHAP-IQ가 편향되지 않고 일관적임을 증명하고 분산 추정치를 포함한 일반적 근사 경계를 제공한다.
• 도입된 s-효율성 개념을 통해 n-SII 및 STI에 대한 SHAP-IQ의 효율성을 보존함을 보인다.
• Shapley 값에 SHAP-IQ를 특수화하여 새로운 표현을 도출하고 이를 Unbiased KernelSHAP (U-KSH)와 연결한다.
• 언어 및 이미지 모델과 높은 차원의 합성 데이터에 대한 실험을 통해 실용적 성능을 시연한다.

Figure 1: Interaction scores for a movie review excerpt presented to a sentiment analysis model.

실험 결과

연구 질문

• RQ1 선형성, 대칭성 및 더미 공리를 만족하는 경우 하나의 단일 통합 추정기가 어떤-order CIIs를 근사할 수 있는가?
• RQ2 모델 평가로부터 CIIs를 효율적이고 편향되지며 일관되게 추정할 수 있는 표현은 무엇인가?
• RQ3 SHAP-IQ가 기존의 Shapley 기반 추정기와 어떻게 관련되며 특히 SV에 대한 U-KSH를 단순화하는가?
• RQ4 SHAP-IQ 추정치가 순서 전반에 걸쳐 n-SII 및 STI의 효율성을 유지하는가?
• RQ5 SHAP-IQ가 NLP, 컴퓨터 비전 및 합성 고차원 설정에서 효과적인가?

주요 결과

• SHAP-IQ는 일반적인 분산 상한을 갖는 어떤-order CII에 대해 편향되지 않고 일관된 추정기를 제공한다.
• 저자들은 모델 평가로부터 모든 점수를 동시에 계산할 수 있는 새로운 CII 표현을 도출한다.
• SV의 경우 SHAP-IQ는 새로운 SV 표현을 제공하고 U-KSH와 동등한 형태로 단순화되도록 만들어 계산을 간단하게 한다.
• SHAP-IQ는 s-효율성을 통해 n-SII 및 STI에 대한 효율성을 유지하며, FSI는 s-효율적이지 않을 수 있다.
• 실험 결과는 SHAP-IQ가 언어 및 이미지 모델 전반에서 SII 및 STI에 대해 기초 방법보다 우수한 성능을 보이고, 고차원 합성 데이터에 대해서도 확장 가능성을 보인다.

Figure 2: Approximation quality of SHAP-IQ and the baseline for orders $s=1,2,3$ of SII measured by MSE for the LM (left) and Prec@10 for orders $s=2,3$ for the LM (middle) and ICM (right).