[논문 리뷰] WeightedSHAP: analyzing and improving Shapley based feature attributions

Yongchan Kwon, James Zou|arXiv (Cornell University)|2022. 09. 27.

Explainable Artificial Intelligence (XAI)인용 수 15

한 줄 요약

이 논문은 Shapley 값 할당에서 마진 기여의 균일한 가중치가 하위 최적의 특성 중요도 순서를 초래할 수 있는 한계를 해결하기 위해 데이터에 의존하는 가중치를 학습하는 WeightedSHAP를 제안한다. 실험 결과, 다양한 데이터셋에서 예측 복원 및 다양한 평가 지표에서 표준 Shapley 및 기타 베이스라인보다 유의미하게 성능 향상을 보였다.

ABSTRACT

Shapley value is a popular approach for measuring the influence of individual features. While Shapley feature attribution is built upon desiderata from game theory, some of its constraints may be less natural in certain machine learning settings, leading to unintuitive model interpretation. In particular, the Shapley value uses the same weight for all marginal contributions -- i.e. it gives the same importance when a large number of other features are given versus when a small number of other features are given. This property can be problematic if larger feature sets are more or less informative than smaller feature sets. Our work performs a rigorous analysis of the potential limitations of Shapley feature attribution. We identify simple settings where the Shapley value is mathematically suboptimal by assigning larger attributions for less influential features. Motivated by this observation, we propose WeightedSHAP, which generalizes the Shapley value and learns which marginal contributions to focus directly from data. On several real-world datasets, we demonstrate that the influential features identified by WeightedSHAP are better able to recapitulate the model's predictions compared to the features identified by the Shapley value.

연구 동기 및 목표

• 표준 Shapley 값이 기계학습 해석에서 가지는 한계, 특히 마진 기여에 대한 균일한 가중치 부여의 문제를 규명하고 분석하는 것.
• 균일한 가중치 부여가 특정 설정에서 관련성이 낮은 특성에게도 높은 영향력을 부여함으로써 수학적으로 최적화되지 않은 특성 할당을 초래할 수 있음을 보여주는 것.
• 마진 기여에 대한 최적의 가중치를 데이터 기반으로 학습하는 유연한, 데이터 중심의 SHAP 일반화를 제안하는 것.
• WeightedSHAP가 표준 SHAP보다 더 잘 영향력 있는 특성을 식별하여 모델 예측을 재현함을 경험적으로 검증하는 것.
• Prediction recovery 및 포함/제외 성능과 같은 다양한 후행 평가 목표에 대해 WeightedSHAP가 효과적으로 적응할 수 있음을 보여주는 것.

제안 방법

• WeightedSHAP는 균일한 평균을 가중치 평균으로 대체함으로써 Shapley 값을 일반화한다. 여기서 가중치는 데이터로부터 학습된다.
• 모델의 행동에 기반해 최적의 마진 기여 가중치를 학습하기 위해 유틸리티 함수(예: 예측 복원 오차 또는 AUC)를 최적화한다.
• 마진 기여의 신호 대 잡음 비율에 따라 다양한 연합 크기에서 가중치를 조정하는 미분 가능한 최적화 과정을 사용한다.
• 기존 SHAP 구현과 호환되며, 모델에 종속적이지 않은 해석 작업에 적용 가능하다.
• 특성 부분집합에 대한 모델 행동을 반영하는 특성 할당을 학습함으로써 국소 및 전역 해석을 모두 지원한다.
• 최적화 단계에서 융통성 있는 유틸리티 함수를 사용하여 Inclusion AUC 또는 Exclusion MSE와 같은 다양한 평가 지표에 적응 가능하다.

실험 결과

연구 질문

• RQ1 표준 Shapley 값에서 마진 기여에 대한 균일한 가중치 부여가 실제 기계학습 모델에서 하위 최적의 특성 중요도 순서를 초래하는가?
• RQ2 마진 기여에 대한 데이터 기반 가중치를 학습하면 모델 예측을 재현하는 데 있어 특성 할당 정확도가 향상되는가?
• RQ3 다양한 실제 데이터셋과 평가 지표에서 WeightedSHAP는 표준 Shapley 및 기타 베이스라인보다 어떻게 성능을 내는가?
• RQ4 Prediction recovery 또는 특성 포함/제외 성능과 같은 다양한 후행 목표에 대해 WeightedSHAP가 얼마나 잘 적응하는가?
• RQ5 WeightedSHAP의 성능 향상 효과가 다양한 유형의 모델과 데이터 분포 간에 일관되게 유지되는가?

주요 결과

• WeightedSHAP는 네 개의 이진 분류 데이터셋에서 표준 Shapley 값보다 예측 복원 오차가 유의미하게 낮으며, 평균 오차에서 일관된 10-20% 향상 효과를 보였다.
• Inclusion AUC 지표에서 WeightedSHAP는 네 개의 분류 데이터셋 전부에서 Shapley 값보다 뛰어난 성능을 보였으며, 대응 t-검정에서 p-값 < 0.05로 통계적으로 유의미함을 확인했다.
• Exclusion 성능 평가에서 WeightedSHAP는 Shapley 및 MCI 베이스라인 모두보다 유의미하게 낮은 MSE를 기록했으며, 특히 고차원 설정에서 두드러진 성능 향상을 보였다.
• 마스크된 특성에 대한 Inclusion 및 Exclusion 지표에서 모두 뛰어난 성능을 기록하여 다양한 평가 목표에 대한 강건성을 입증했다.
• 50회의 독립 실행 및 95% 신뢰구간을 통한 검증을 통해 WeightedSHAP는 더 많은 영향력 있는 특성을 일관되게 식별함을 확인했다.
• 성능 향상 효과가 특정 지표에 국한되지 않으며, AUC, MSE, 복원 오차 등 다양한 평가 기준에서 표준 Shapley를 초월하는 성능을 보였다.