[논문 리뷰] Predictive and Causal Implications of using Shapley Value for Model Interpretation

Sisi Ma, Roshan Tourani|arXiv (Cornell University)|2020. 08. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 20인용 수 11

한 줄 요약

이 논문은 베이지안 네트워크에서 모델 해석을 위한 셰플리 값(Shapley values) 사용의 예측적 및 인과적 함의를 조사한다. 높은 셰플리 값이 예측적 중요성이나 인과적 영향을 신뢰성 있게 나타내지 못함을 보여주며, 기계학습 모델에서 특성 선택이나 인과 추론에 셰플리 값을 사용하는 것에 도전한다.

ABSTRACT

Shapley value is a concept from game theory. Recently, it has been used for explaining complex models produced by machine learning techniques. Although the mathematical definition of Shapley value is straight-forward, the implication of using it as a model interpretation tool is yet to be described. In the current paper, we analyzed Shapley value in the Bayesian network framework. We established the relationship between Shapley value and conditional independence, a key concept in both predictive and causal modeling. Our results indicate that, eliminating a variable with high Shapley value from a model do not necessarily impair predictive performance, whereas eliminating a variable with low Shapley value from a model could impair performance. Therefore, using Shapley value for feature selection do not result in the most parsimonious and predictively optimal model in the general case. More importantly, Shapley value of a variable do not reflect their causal relationship with the target of interest.

연구 동기 및 목표

• 기계학습 모델에서 셰플리 값과 예측 성능 간의 관계를 조사하기 위해.
• 셰플리 값이 변수 간의 목표 결과에 대한 인과 관계를 반영하는지 평가하기 위해.
• 예측 모델링에서 특성 선택의 히وري스틱으로 셰플리 값을 사용하는 것이 타당한지 평가하기 위해.
• 셰플리 값과 베이지안 네트워크의 구조적 성질, 특히 조건부 독립성과 d-분리(d-separation) 간의 이론적 연관성을 설정하기 위해.
• 특성 중요성과 모델 단순성에 대한 오해를 명확히 하기 위해, 특히 인과성과 모델 단순성에 관해 셰플리 값에 대한 오해를 해소하기 위해.

제안 방법

• 셰플리 값 이론을 사용하여 예측 모델링을 협력 게임으로 공식화하기 위해.
• 구조적 타당성을 보장하기 위해 충실한 인과적 베이지안 네트워크를 사용해 데이터 생성 모델링하기 위해.
• 변수 간 관계 분석을 위해 d-분리와 조건부 독립성을 사용하기 위해.
• 특히 목표 변수로 향하는 경로와 마르코프 경계(Markov boundary)에 중점을 두어 셰플리 값을 네트워크 구조에 매핑하기 위해.
• 인과적 베이지안 네트워크의 이론적 결과(예: 정리 25, 30)를 적용하여 변수의 구조적 역할 해석하기 위해.
• 조건부 독립성 기반의 변수 관련성(강한, 약한, 무관)에 따라 셰플리 값과의 이론적 분석 비교하기 위해.

실험 결과

연구 질문

• RQ1 높은 셰플리 값을 가진 변수가 반드시 예측 성능에 더 많이 기여하는가?
• RQ2 셰플리 값은 변수의 목표 변수에 대한 인과적 영향을 신뢰성 있게 나타낼 수 있는가?
• RQ3 특성 선택에 셰플리 값을 사용하는 것이 더 예측성 높고 단순한 모델을 도출할 가능성이 있는가?
• RQ4 베이지안 네트워크에서 셰플리 값과 조건부 독립성 간의 이론적 관계는 무엇인가?
• RQ5 d-연결성과 마르코프 경계와 같은 구조적 성질은 셰플리 값 할당과 어떻게 관련이 있는가?

주요 결과

• 높은 셰플리 값을 가진 변수를 제거하더라도 예측 성능이 반드시 악화되지는 않으며, 이는 높은 셰플리 값이 높은 예측적 중요성을 의미하지는 않음을 시사한다.
• 낮은 셰플리 값을 가진 변수가 모델 성능에 상당한 영향을 미칠 수 있으며, 이는 셰플리 값이 예측 기여도의 신뢰할 수 있는 지표가 아니라는 것을 보여준다.
• 셰플리 값은 목표 변수와의 인과 관계를 반영하지 못한다; 목표 변수의 직접 원인이나 결과가 아니더라도 높은 셰플리 값을 가질 수 있다.
• 셰플리 값과 베이지안 네트워크의 구조적 역할 간에는 일반적인 대응 관계가 없으며, 특히 목표 변수의 마르코프 경계에 있는지 여부와도 관련이 없다.
• 셰플리 값을 특성 선택에 사용하는 것은 가장 예측성 높거나 단순한 모델을 도출하지 못할 수 있으며, 높은 가치를 가진 특성일지라도 통계적으로 무관할 수 있다.
• 이론적 분석을 통해 셰플리 값이 충실성 가정 조건 하에서도 베이지안 네트워크의 인과 의미와 일치하지 않음을 확인하였다.