[논문 리뷰] Improving KernelSHAP: Practical Shapley Value Estimation via Linear Regression

Ian Covert, Su‐In Lee|arXiv (Cornell University)|2020. 12. 02.

Explainable Artificial Intelligence (XAI)인용 수 9

한 줄 요약

이 논문은 Shapley 값에 대한 편향이 없는 선형 회귀 기반 추정기와 수렴 감지, 불확실성 정량화, 분산 감소를 가능하게 하는 KernelSHAP을 향상시킨다. 기존 KernelSHAP은 미미한 편향을 가지지만 분산이 현저히 낮으며, 모델 무관성 및 확률적 협력 게임 설정에서 효율적이고 신뢰할 수 있는 Shapley 값 추정을 위한 실용적 프레임워크를 제안한다.

ABSTRACT

The Shapley value concept from cooperative game theory has become a popular technique for interpreting ML models, but efficiently estimating these values remains challenging, particularly in the model-agnostic setting. Here, we revisit the idea of estimating Shapley values via linear regression to understand and improve upon this approach. By analyzing the original KernelSHAP alongside a newly proposed unbiased version, we develop techniques to detect its convergence and calculate uncertainty estimates. We also find that the original version incurs a negligible increase in bias in exchange for significantly lower variance, and we propose a variance reduction technique that further accelerates the convergence of both estimators. Finally, we develop a version of KernelSHAP for stochastic cooperative games that yields fast new estimators for two global explanation methods.

연구 동기 및 목표

• 기존 KernelSHAP 방법에서 수렴 감지 및 불확실성 정량화의 부족을 해결하기 위해.
• 기존 버전과 새로 제안된 편향 없는 버전 간의 편향-분산 트레이드오���을 분석하기 위해.
• Shapley 값 추정기의 수렴을 가속화하는 분산 감소 기법을 개발하기 위해.
• 빠른 글로벌 설명 방법(예: SAGE 및 Shapley Effects)을 위한 빠른 근사치를 가능하게 하기 위해 회귀 기반 접근법을 확률적 협력 게임으로 확장하기 위해.
• 실제 응용에서 샘플 크기 결정 및 추정기 신뢰성 평가를 위한 실용적 도구를 제공하기 위해.

제안 방법

• 계산의 체계적 오차를 제거하기 위해 회귀 목표를 재정의함으로써 편향 없는 KernelSHAP의 변종을 제안한다.
• 실시간 수렴 모니터링을 가능하게 하기 위해 평균과 공분산의 온라인 추정을 위해 Welford의 알고리즘을 사용한다.
• 추정된 Shapley 값의 범위에 대한 불확실성(표준편차)의 비율에 기반한 수렴 기준을 도입한다.
• 각 샘플을 그 보완 샘플과 쌍으로 묶어 분산을 감소시키는 반대성 샘플링을 통해 분산 감소를 적용한다.
• 확률적 협력 게임에 대해 회귀 프레임워크를 적응시켜 랜덤 변수에 대한 기대 게임 값 모델링을 수행함으로써 글로벌 설명 방법에 대한 빠른 근사치를 가능하게 한다.
• 중간 단계의 회귀 추정치의 경험적 공분산을 사용하여 불확실성 추정치를 유도하고, 샘플 수에 따라 스케일링한다.

실험 결과

연구 질문

• RQ1 기존 KernelSHAP 추정기는 유의미한 편향을 가지는가, 그리고 편향 없는 대안과 비교해 분산은 어떻게 되는가?
• RQ2 완전한 계산 없이도 샘플링 도중 Shapley 값 추정기의 수렴을 신뢰성 있게 감지할 수 있는가?
• RQ3 회귀 기반 Shapley 값 추정에 대해 의미 있는 불확실성 추정치를 도출할 수 있는가?
• RQ4 반대성 샘플링을 통한 분산 감소 기법이 Shapley 값 추정기의 수렴을 얼마나 효과적으로 가속화하는가?
• RQ5 회귀 기반 접근법을 확률적 협력 게임으로 확장하여 빠른 글로벌 설명 방법을 가능하게 할 수 있는가?

주요 결과

• 기존 KernelSHAP 추정기는 편향 없는 버전과 비교해 미미한 편향 증가를 보이지만 분산이 현저히 낮아 더 안정적이고 수렴 속도가 빠르다.
• 불확실성과 값의 범위 비율에 기반한 제안된 수렴 감지 방법은 충분한 샘플이 수집되었을 때를 신뢰성 있게 식별한다.
• 중간 단계의 회귀 결과 경험적 공분산에서 도출된 불확실성 추정치는 추정 신뢰성의 타당한 측정치를 제공한다.
• 반대성 샘플링을 통한 분산 감소 기법은 추정기 분산을 감소시키고, 특히 고차원 설정에서 수렴 속도를 가속화한다.
• 확률적 협력 게임으로의 확장은 SAGE 및 Shapley Effects와 같은 글로벌 설명 방법에 대해 빠르고 정확한 근사치를 가능하게 하며, 계산 비용을 감소시킨다.
• 실험 결과는 편향 없는 회귀 기반 추정기가 샘플링 기반 대안들과 비교해 유사하거나 더 우수한 성능을 보이며, 불확실성 정량화 및 수렴 모니터링을 제공함을 확인한다.