[논문 리뷰] Explaining Models by Propagating Shapley Values of Local Components

Hugh Chen, Scott Lundberg외 1명|arXiv (Cornell University)|2019. 11. 27.

Explainable Artificial Intelligence (XAI)인용 수 8

한 줄 요약

이 논문은 배경 분포 이론적 근거를 바탕으로 하여 깊이 신경망과 혼합 모델 스택에 대한 샤플리 값 기반 기여도를 계산할 수 있도록 확장한 DeepSHAP 프레임워크를 소개한다. 이는 계층을 거쳐 값들을 전파함으로써 빠르고 결정적인 설명을 가능하게 하며, 기존 방법보다 배경 기반 기여도에 대한 이론적 정당성을 제공하고, SHAP 값의 보다 정확한 근사치를 얻기 위해 RevealCancel 규칙을 개선한다.

ABSTRACT

In healthcare, making the best possible predictions with complex models (e.g., neural networks, ensembles/stacks of different models) can impact patient welfare. In order to make these complex models explainable, we present DeepSHAP for mixed model types, a framework for layer wise propagation of Shapley values that builds upon DeepLIFT (an existing approach for explaining neural networks). We show that in addition to being able to explain neural networks, this new framework naturally enables attributions for stacks of mixed models (e.g., neural network feature extractor into a tree model) as well as attributions of the loss. Finally, we theoretically justify a method for obtaining attributions with respect to a background distribution (under a Shapley value framework).

연구 동기 및 목표

• 복잡한 블랙박스 모델—특히 깊이 신경망과 스태킹된 앙상블 모델—을 설명하기 위해 예측값을 입력 특성에 기여도를 할당하는 방법을 개발하는 것.
• 기존 수식에 대한 한계를 극복하기 위해 배경 분포에 대해 샤플리 값을 이론적으로 타당하게 계산할 수 있는 방법을 제공하는 것.
• 일반적인 모델을 넘어서 이질적인 모델 유형(예: 신경망 + 트리 모델)의 스택에 대한 샤플리 값 기여도를 확장하는 것.
• DeepLIFT과 같은 기존 규칙 기반 설명 방법의 정확도를 향상시키기 위해 이를 샤플리 값의 맥락에서 재해석하는 것.
• KernelSHAP와 IME와 같은 모델에 종속적이지 않은 SHAP 근사 방법의 분산과 계산 비용을 줄이기 위해 결정적이고 역전파 스타일의 기여도 계산을 가능하게 하는 것.

제안 방법

• 비선형 및 선형 요소를 별도로 다루며, 계층별 역전파를 사용하여 샤플리 값을 깊이 신경망을 통해 전파하는 방법.
• DeepLIFT의 Rescale 및 RevealCancel 규칙을 정확한 샤플리 값의 근사치로 재해석하여 국소 정확성과 계산 효율성을 보장하는 방법.
• 기존의 단일 기준 샘플이 아닌 배경 분포 기반의 새로운 수식을 도입하여 기여도를 기준 분포에 대해 계산하는 방법.
• 기존의 0 기준값 대신 가중 특성 기여도의 평균을 분할 임계값으로 설정하는 RevealCancel^Mean을 제안하여 근사 정확도를 향상시키는 방법.
• 모델 출력뿐만 아니라 손실 함수의 기여도를 계산하여 학습 진단에까지 응용 가능한 기능을 확장하는 방법.
• 기여도의 경로 기반 분해를 사용하여 입력에서 출력까지의 활성화 경로를 따라 가중합으로 기여도를 계산하는 방법.

실험 결과

연구 질문

• RQ1 역전파 스타일의 방법을 사용하여 깊이 신경망에 대해 샤플리 값을 효율적이고 정확하게 근사할 수 있는 방법은 무엇인가?
• RQ2 DeepLIFT 규칙과 샤플리 값 간의 관계를 수식적으로 명확히 하여 설명의 정밀도를 향상시킬 수 있는가?
• RQ3 단일 기준 샘플이 아닌 배경 분포에 대해 샤플리 값 기여도를 의미 있게 계산할 수 있는가?
• RQ4 DeepSHAP는 KernelSHAP와 IME와 같은 샘플링 기반 모델에 종속적이지 않은 방법보다 정확도와 분산 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 RevealCancel 규칙의 임계값 전략을 수정함으로써 진정한 샤플리 값을 더 잘 근사할 수 있는가?

주요 결과

• DeepSHAP는 샘플링 분산이 없고 고정된 수의 모델 평가로 이루어지는 결정적 기여도를 제공하며, KernelSHAP와 IME와 같은 샘플링 기반 방법과는 달리 이에 영향을 받지 않는다.
• RevealCancel^Mean 규칙은 원래 RevealCancel 및 Rescale 규칙보다 근사 오차를 줄이며, 추가 계산 비용 없이도 성능 향상을 이룬다.
• 상관관계가 있는 특성 데이터셋에서의 실험 결과, DeepSHAP는 IME Explainer와 KernelSHAP보다 특성 중요도 복원 측면에서 더 뛰어난 성능을 보였으며, 특히 특성 노출의 초반 단계에서 두드러졌다.
• 제거 메트릭 'keep absolute (mask)' 분석 결과, DeepSHAP는 샘플링 기반 대안보다 더 빨리이고 더 일관되게 가장 중요한 특성을 식별했다.
• DeepSHAP는 신경망 특성 추출기와 트리 모델의 조합 등 혼합 모델 스택을 성공적으로 설명하여 단일 모델 아키텍처를 넘어서 일반화된 성능을 입증했다.
• 샤플리 값 계산에 배경 분포를 사용하는 것에 대한 이론적 정당성이 제시되어, 원래 DeepSHAP 수식의 핵심적 한계를 해결했다.