[논문 리뷰] The many Shapley values for model explanation

Mukund Sundararajan, Amir Najmi|arXiv (Cornell University)|2019. 08. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 19인용 수 36

한 줄 요약

이 논문은 모형 설명을 위한 다수의 Shapley 기반 기여도 방법을 분석하고, CES의 문제점 행동을 보여주며, 고유성 보장을 가진 Baseline Shapley (BShap)을 소개하고 이를 Integrated Gradients (IG)와 비교한다.

ABSTRACT

The Shapley value has become a popular method to attribute the prediction of a machine-learning model on an input to its base features. The use of the Shapley value is justified by citing [16] showing that it is the \emph{unique} method that satisfies certain good properties (\emph{axioms}). There are, however, a multiplicity of ways in which the Shapley value is operationalized in the attribution problem. These differ in how they reference the model, the training data, and the explanation context. These give very different results, rendering the uniqueness result meaningless. Furthermore, we find that previously proposed approaches can produce counterintuitive attributions in theory and in practice---for instance, they can assign non-zero attributions to features that are not even referenced by the model. In this paper, we use the axiomatic approach to study the differences between some of the many operationalizations of the Shapley value for attribution, and propose a technique called Baseline Shapley (BShap) that is backed by a proper uniqueness result. We also contrast BShap with Integrated Gradients, another extension of Shapley value to the continuous setting.

연구 동기 및 목표

• Shapley 값을 사용해 입력 특징에 대한 모델의 예측 기여를 동기화하고 운영화 간 비-유일성 문제를 다룬다.
• 다른 Shapley 확장(CES, BShap, RBShap, IG)이 모델, 데이터 및 기준선 선택에 어떻게 의존하는지 분석한다.
• Baseline Shapley (BShap)의 공리적 기초 및 고유성 결과를 제시하고 이를 비용 분담 이론과 연관지었다.
• Baseline Shapley를 Integrated Gradients 및 다른 Shapley 기반 접근들과 비교한다.
• 당뇨병 예측 사례 연구를 통해 이 방법들의 실증적 함의를 보여준다.

제안 방법

• 실수 모델 f와 특징 집합 N을 가진 기여도 문제를 형식화한다.
• Conditional Expectations Shapley (CES), Baseline Shapley (BShap), Random Baseline Shapley (RBShap) 등 세 가지 Shapley 기반 확장을 정의하고 Integrated Gradients (IG)와 대조한다.
• 가정들( Dummy, Efficiency, Linearity, Symmetry, Affine Scale Invariance, Demand Monotonicity, Proportionality )를 개발해 방법을 비교한다.
• CES가 기준 분포 D에 의존하고 직관에 반하는 기여를 낳을 수 있음을 보이고, Downward Closure 속성과 CES(hat{D})를 계산하는 알고리즘을 도입한다.
• 모델 설명과 비용 분담 간의 이론적 환원을 제공하고, 해당 공리 집합 하에서 BShap과 IG의 고유성 결과를 확립한다.
• 분포 선택을 통해 BShap를 CES에 연관시키고 RBShap를 평균화 버전으로 논의한다.

실험 결과

연구 질문

• RQ1 다른 Shapley 기반 기여도 방법(CES, BShap, RBShap, IG)이 가정, 계산, 출력에서 어떻게 다르냐?
• RQ2 Baseline Shapley (BShap)와 Integrated Gradients (IG)가 모델 설명에 대해 고유한 해(solution)가 되려면 어떤 공리에서인가?
• RQ3 특히 특성 분포와 희소성에 대한 의존성에서 CES의 함정은 무엇이며, 이것이 기여도 품질에 어떤 영향을 주는가?
• RQ4 모델 설명을 비용 분담으로 축약하는 방법은 무엇이며, 이것이 BShap와 IG 간의 관계에 대해 무엇을 시사하는가?
• RQ5 실제 데이터(예: 당뇨병 진행 작업)에서 이러한 기여도 방법들의 실용적 함의를 보여주는 실험적 증거는 무엇인가?

주요 결과

• CES 기여도는 선택된 특징 분포 D에 크게 의존하며 희소성에 매우 민감할 수 있다.
• CES는 더미 특징에 대해 0이 아닌 기여도를 할당할 수 있으며 간단한 예에서 선형성 및 다른 직관을 위반할 수 있다.
• Baseline Shapley (BShap)는 핵심 공리들(선형성, Dummy, ASI, DM, 대칭)을 만족하며 이 공리들 하에서 기여도 문제에 대해 고유하다.
• Integrated Gradients (IG)는 선형성, Dummy, ASI, Proportionality, 대칭을 만족하는 유일한 방법으로 BShap에 대한 뚜렷한 원칙적 대안을 제공한다.
• BShap는 특정 분포 하에서 CES와 일치하지만 CES와 달리 분포에 의존하지 않고 설명 맥락을 반영하기 위해 명시적 기준선을 사용한다.
• 당뇨병 예측 사례 연구에서 기여도 방법들이 미묘하고 잠재적으로 직관에 반하는 결과를 낼 수 있음을 보여준다; 데이터 세트는 BMI, BP, 그리고 혈청 측정치가 강한 요인으로 35%의 분산(R^2)을 설명하는 모델을 보였다.
• RBShap와 CES와 RBShap 간의 관계를 논의하며, 기준선을 평균화하면 독립 특징 분포 하에서 CES를 회복할 수 있음을 보였다.