[논문 리뷰] Causal Shapley Values: Exploiting Causal Knowledge to Explain Individual Predictions of Complex Models

Tom Heskes, Evi Sijben외 2명|arXiv (Cornell University)|2020. 11. 03.

Explainable Artificial Intelligence (XAI)참고 문헌 6인용 수 31

한 줄 요약

이 논문은 입력 특징 간의 인과 관계를 반영하여 개별 모델 예측을 설명하는 인과 Shapley 값을 도입하고, Pearl의 do-calculus 및 인과 체인 그래프를 사용하여 효과를 직접적이고 간접적으로 분해합니다.

ABSTRACT

Shapley values underlie one of the most popular model-agnostic methods within explainable artificial intelligence. These values are designed to attribute the difference between a model's prediction and an average baseline to the different features used as input to the model. Being based on solid game-theoretic principles, Shapley values uniquely satisfy several desirable properties, which is why they are increasingly used to explain the predictions of possibly complex and highly non-linear machine learning models. Shapley values are well calibrated to a user's intuition when features are independent, but may lead to undesirable, counterintuitive explanations when the independence assumption is violated. In this paper, we propose a novel framework for computing Shapley values that generalizes recent work that aims to circumvent the independence assumption. By employing Pearl's do-calculus, we show how these 'causal' Shapley values can be derived for general causal graphs without sacrificing any of their desirable properties. Moreover, causal Shapley values enable us to separate the contribution of direct and indirect effects. We provide a practical implementation for computing causal Shapley values based on causal chain graphs when only partial information is available and illustrate their utility on a real-world example.

연구 동기 및 목표

• 특성 간의 인과 관계를 존중하는 설명의 필요성을 동기화하고 독립성을 가정하지 않도록.
• 데이터 생성 과정의 인과 구조를 반영하도록 Shapley 값 설명 일반화하기.
• 부분적 인과 순서를 바탕으로 인과 Shapley 값을 계산하는 실용적 프레임워크 제공하기.
• 해석 가능성을 높이기 위해 특징 기여도를 직접 효과와 간접 효과로 분해하기.

제안 방법

• 인과 관계를 존중하는 기여로 정의하고 개입 기대치를 위해 do-calculus를 사용한 인과 Shapley 값으로 정의한다.
• 부분 순서와 교란을 처리하기 위해 인과 체인 그래프로 의존성을 표현한다.
• 순열 기반 집계로 각 특징의 Shapley 기여도를 직접 효과와 간접 효과로 분해한다.
• 실용적 계산을 가능하게 하는 체인 그래프용 개입적–관찰적 동등성 정리 제공한다.
• 인과 Shapley 값을 주변 및 조건부 Shapley 값과 비교하고 인과 구조에 대한 강건성을 강조한다.

실험 결과

연구 질문

• RQ1 입력 특징 간의 인과 관계를 반영하도록 Shapley 값을 어떻게 계산할 수 있는가?
• RQ2 인과 Shapley 값이 특징의 직접 효과와 간접 효과를 모델 예측에 대해 분리할 수 있는가?
• RQ3 부분적 인과 정보로 인과 Shapley 값을 계산할 수 있는 실용적 프레임워크는 무엇인가?
• RQ4 다양한 인과 구조에서 인과 Shapley 값이 주변 및 조건부 Shapley 값과 어떻게 비교되는가?
• RQ5 실제 데이터에 대한 설명에서 do-calculus 기반 조건화의 영향은 무엇인가?

주요 결과

• 인과 Shapley 값은 인과 관계를 반영하고 전체 효과를 직접 및 간접 구성 요소로 분해한다.
• 효율성, 선형성, 무-플레이어 특성을 유지하고 적절한 조건에서 표준 Shapley 특성을 회복한다.
• 인과 체인 그래프를 사용하여 부분적 인과 순서를 가진 설명을 계산하는 실용적 방법을 제공한다.
• 인과 Shapley 값은 chain, fork, confounder, cycle 구조를 구분하고 서로 다른 귀속 패턴을 낳는다.
• 이 방법은 개입 분포에서 샘플링으로 구현할 수 있으며 기존 Shapley 값 계산 도구에 확장 가능하다.