[논문 리뷰] Accurate Shapley Values for explaining tree-based models

Salim I. Amoukou, Nicolas Brunel외 1명|arXiv (Cornell University)|2021. 06. 07.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 트리 기반 모델에서 Shapley 값(SV)을 계산하기 위한 두 가지 새로운 추정기인 Discrete와 Leaf를 제안한다. 이는 기존 최고 수준의 방법들인 TreeSHAP보다 특성 간 의존성과 범주형 변수가 존재할 경우 더 정확하다. 연구에서는 특성이 종속되어 있을 경우 기존 SV 추정이 편향됨을 보이며, 범주형 변수에 대한 인코딩 기반 SV 집계 방식이 잘못된 해석을 유도함을 밝혀내고, 협력 기반 SV 계산을 통해 이론적으로 타당한 대안을 제시한다.

ABSTRACT

Shapley Values (SV) are widely used in explainable AI, but their estimation and interpretation can be challenging, leading to inaccurate inferences and explanations. As a starting point, we remind an invariance principle for SV and derive the correct approach for computing the SV of categorical variables that are particularly sensitive to the encoding used. In the case of tree-based models, we introduce two estimators of Shapley Values that exploit the tree structure efficiently and are more accurate than state-of-the-art methods. Simulations and comparisons are performed with state-of-the-art algorithms and show the practical gain of our approach. Finally, we discuss the limitations of Shapley Values as a local explanation. These methods are available as a Python package.

연구 동기 및 목표

• 트리 기반 모델에서 특성 간 의존성이 존재할 경우 기존 Shapley 값(SV) 추정기의 부정확성을 해결하기 위해.
• 표준 인코딩 방식이 범주형 변수의 SV에 대해 잘못된 해석을 유도하는 문제를 해결하기 위해.
• 재매개변수화에 대해 불변성을 보장하는 이론적으로 타당한 SV 계산 방법을 제공하기 위해.
• SV의 전역적 성격이 국소적 해석 가능성에 영향을 주므로, 이를 수정하여 국소적 설명의 신뢰성을 향상시키기 위해.

제안 방법

• 재매개변수화에 대해 SV의 불변성 원리를 도출하여, 변수 인코딩 방식에 관계없이 일관된 설명이 가능하도록 보장한다.
• 협력 기반 SV 정의(식 2)를 제안하여, 특히 범주형 특성에 대해 고유한 변수 그룹에 대한 고전적 SV의 일반화를 실현한다.
• 이산화된 범주형 변수에 직접 SV를 계산하는 Discrete 추정기를 제안하여, 인코딩에 기인한 편향을 피한다.
• 각 리프에 속하는 모든 학습 데이터 포인트를 종합하여 축소된 예측기(reduced predictors)를 계산하는 Leaf 추정기를 개발하여 정확한 SV 추정을 가능하게 한다.
• 진정된 데이터 분포 하에서의 조건부 기대값을 이용해 축소된 예측기를 정의함으로써 추정 정확도를 향상시킨다.
• 실제 XAI 응용 분야에서의 활용을 위해 Python 패키지로 제안된 추정기를 구현한다.

실험 결과

연구 질문

• RQ1 특성 간 의존성이 트리 기반 모델에서 Shapley 값 추정의 정확도에 어떤 영향을 미치는가?
• RQ2 범주형 변수에 대해 표준적인 인코딩 방식을 사용할 경우, 인코딩된 변수들의 SV를 합산하는 것이 왜 문제인지?
• RQ3 연속형 및 범주형 변수 모두에 대해 변수 인코딩에 대해 불변성을 보장하는 이론적으로 타당한 추정기를 개발할 수 있는가?
• RQ4 TreeSHAP와 같은 기존 SV 추정기들이 특성 간 의존성이 존재할 경우 진정한 특성 기여도를 얼마나 잘 포착하지 못하는가?
• RQ5 Shapley 값은 진정으로 국소적 설명인가, 아니면 국소적 해석 가능성에 해를 끼치는 전역적 의존성을 유지하는가?

주요 결과

• 특성 간 의존성이 존재하는 p=5인 합성 데이터에서 Discrete 추정기는 TreeSHAP보다 상대적 절대오차(R-AE) 측면에서 뛰어난 성능을 보였다.
• 특성 상관계수가 증가함에 따라 Leaf 추정기는 TreeSHAP보다 유의미하게 낮은 R-AE를 기록하였으며, ρ=0.99에 이르러 성능 향상이 두드러졌다.
• 특성이 종속되어 있을 경우 TreeSHAP는 높은 편향을 보이며, 이는 신뢰할 수 없는 특성 기여도 추정을 초래한다.
• 범주형 변수의 경우, 인코딩된 변수들의 SV를 합산하는 것은 모든 특성에 대해 잘못된 SV를 도출하여 해석을 무효화한다.
• Shapley 값은 진정으로 국소적 설명이 아니며, Proposition 5.1에서 보듯이 전역 평균화에 의해 비활성 특성의 SV가 0이 아닐 수 있음을 입증하였다.
• 제안된 추정기는 고차원성(p=500)에서도 계산적으로 실행 가능하며, 특히 Leaf 추정기는 p 증가에 대해 강건한 성능을 보였지만 TreeSHAP보다 높은 런타임을 가진다.