[논문 리뷰] Problems with Shapley-value-based explanations as feature importance measures

I. Elizabeth Kumar, Suresh Venkatasubramanian외 2명|arXiv (Cornell University)|2020. 02. 25.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 109

한 줄 요약

논문은 Shapley-value-based 특징 설명의 비판으로, 수학적 및 인간 중심의 한계를 주장하고, 개입적(interventional) 대 조건부 가치 함수, 가법성의 한계, 그리고 설명 가능성에 대한 시사점을 논의한다.

ABSTRACT

Game-theoretic formulations of feature importance have become popular as a way to "explain" machine learning models. These methods define a cooperative game between the features of a model and distribute influence among these input elements using some form of the game's unique Shapley values. Justification for these methods rests on two pillars: their desirable mathematical properties, and their applicability to specific motivations for explanations. We show that mathematical problems arise when Shapley values are used for feature importance and that the solutions to mitigate these necessarily induce further complexity, such as the need for causal reasoning. We also draw on additional literature to argue that Shapley values do not provide explanations which suit human-centric goals of explainability.

연구 동기 및 목표

• Shapley-value-based 설명이 모델 설명을 위한 특징 중요성을 신뢰할 수 있게 반영하는지 평가한다.
• 특징 중요성에 Shapley 값을 사용하는 데서 발생하는 수학적 문제를 식별한다.
• 확립된 설명 가능성 프레임워크 하에서 Shapley 기반 설명의 인간 중심 적합성을 평가한다.
• Shapley 기반 설명이 의미 있게 작용할 수 있는 제약 조건이나 대안을 제시한다.

제안 방법

• Shapley 값의 기초와 그것의 특징 중요성 적용에 대한 검토 및 형식적 분석.
• v_f,x에 대한 개입(interventional) 대 조건부 가치 함수의 비교 및 계산적 함의.
• 가법성 및 비가법 모델의 다른 공리들을 조사하여 해석 가능성을 평가한다.
• 인과적 고려와 사전 지식이 기여도에 미치는 영향을 논의한다(비대칭 Shapley 값 포함).
• 대조적 설명 및 규범적 평가 프레임워크를 사용한 설명에 대한 인간 중심적 시각을 분석한다.

실험 결과

연구 질문

• RQ1 Shapley-value-based 설명이 인간의 설명 가능성 및 대조적 추론 개념과 일치하는가?
• RQ2 특징 중요성에 대해 조건부 대 개입 가치 함수를 사용할 때 어떤 수학적 문제가 발생하는가?
• RQ3 가법성 및 다른 공리들이 비가법 모델에서 Shapley 기반 귀속의 해석 가능성을 어떻게 제한하는가?
• RQ4 Shapley 기반 설명이 잘못된 정렬 없이 실행 가능한 구제책이나 규범적 평가를 의미 있게 지원할 수 있는가?
• RQ5 제한된 설정에서는 Shapley 기반 설명이 명확한 해석을 허용하는 경우가 있는가?

주요 결과

• 조건부 가치 함수에 의해 개입적 효과가 없는 특징에 영향을 부여하는 Shapley-value 설명이 가능하다.
• 개입적 방법은 분포 밖 모델 평가(out-of-distribution evaluation)를 필요로 하며, 분포 내 샘플에 대한 설명을 오도하는 결과를 초래한다.
• 가법성 공리는 가법 모델의 귀속을 제한하며 비가법 모델에서는 해석에 유용하지 않을 수 있다.
• 중복되거나 상호 상관된 특징은 특징 포함 선택에 따라 귀속을 왜곡할 수 있다.
• 인과 지식은 일부 문제를 완화할 수 있지만 사전 가정에 의존하고 설명의 보편성을 약화시킬 수 있다.
• 인간 중심의 비평은 Shapley 설명이 종종 설명의 대조적이고 실행 가능한 기대에 부합하지 않는다고 지적한다.