[논문 리뷰] From Shapley Values to Generalized Additive Models and back

Sebastian Bordt, Ulrike von Luxburg|arXiv (Cornell University)|2022. 09. 08.

Explainable Artificial Intelligence (XAI)인용 수 16

한 줄 요약

이 논문은 상호작용 효과를 최대 순서 n까지 캡처할 수 있도록 일반화된 Shapley Values를 일반화한 매개변수적 가족인 n-Shapley Values를 소개한다. 이는 n-Shapley Values와 일반화된 가산 모델(GAMs) 사이에 정확한 기능적 대응 관계를 설정하여, 상호작용이 최대 순서 n까지 포함된 GAM의 진짜 기능 분해를 복원함으로써 설명 가능 인공지능(XAI)에서 Shapley Values의 원리적이고 기능적으로 기반된 해석을 제공한다.

ABSTRACT

In explainable machine learning, local post-hoc explanation algorithms and inherently interpretable models are often seen as competing approaches. This work offers a partial reconciliation between the two by establishing a correspondence between Shapley Values and Generalized Additive Models (GAMs). We introduce $n$-Shapley Values, a parametric family of local post-hoc explanation algorithms that explain individual predictions with interaction terms up to order $n$. By varying the parameter $n$, we obtain a sequence of explanations that covers the entire range from Shapley Values up to a uniquely determined decomposition of the function we want to explain. The relationship between $n$-Shapley Values and this decomposition offers a functionally-grounded characterization of Shapley Values, which highlights their limitations. We then show that $n$-Shapley Values, as well as the Shapley Taylor- and Faith-Shap interaction indices, recover GAMs with interaction terms up to order $n$. This implies that the original Shapely Values recover GAMs without variable interactions. Taken together, our results provide a precise characterization of Shapley Values as they are being used in explainable machine learning. They also offer a principled interpretation of partial dependence plots of Shapley Values in terms of the underlying functional decomposition. A package for the estimation of different interaction indices is available at \url{https://github.com/tml-tuebingen/nshap}.

연구 동기 및 목표

• Shapley Values와 같이 국소 후행 해석 방법을 일반화된 가산 모델(GAMs)과 같은 본질적으로 해석 가능한 모델과 조율하는 것.
• Shapley Values와 기능 분해 간의 관계를 체계화하여, 특히 고차 상호작용을 캡처하는 데서의 한계를 부각하는 것.
• 변수 간 상호작용을 최대 순서 n까지 모델링할 수 있는 매개변수적 해석 알고리즘 가족으로서 n-Shapley Values를 제안하는 것.
• Shapley 기반 해석(Shapley Taylor 및 Faith-Shap 포함)이 최대 순서 n까지의 상호작용을 포함한 GAMs와 완벽하게 일치함을 보여주는 것.
• 예측 함수의 가산 성분으로 분해되는 유일한 분해 방식과 연결함으로써 Shapley Values의 기능적으로 기반된 특성화를 제공하는 것.

제안 방법

• 상호작용 항을 최대 순서 n까지 포함하는 표준 Shapley Values의 일반화로 n-Shapley Values를 도입하는 것.
• Shapley-GAM 분해를 하위집합 준수성 및 값 함수 성질에 기반한 예측 함수의 가산 성분으로의 기능 분해로 정의하는 것.
• n-Shapley Values가 최대 순서 n까지의 상호작용을 포함한 GAM의 진짜 비선형 성분 함수를 복원함을 입증하는 것.
• Shapley 기반 해석(Shapley Taylor 및 Faith-Shap 포함)이 해석 순서가 모델의 상호작용 순서와 동일하거나 이를 초과할 경우 GAMs와 완벽하게 일치함을 증명하는 것.
• 하나의 값 함수가 잘 정의된 기능 분해를 산출하기 위해 하위집합 준수성이 必요하고 충분한 조건임을 입증하는 것.
• kNN 분류기에서 500, 5000, 133,549개의 샘플을 사용하여 Shapley-GAM 분해를 추정하고, 고차 상호작용 항의 안정성과 정확성을 검증하는 것.

실험 결과

연구 질문

• RQ1 Shapley Values는 변수 간 상호작용이 존재할 경우 일반화된 가산 모델(GAMs)과 어떻게 관련이 있는가?
• RQ2 Shapley 기반 해석은 최대 순서 n까지의 상호작용을 포함한 GAM의 기능 분해를 완벽하게 복원할 수 있는가?
• RQ3 Shapley Values는 신경망과 같은 복잡한 비선형 모델을 설명하는 데 기능적으로 어떤 역할을 하는가?
• RQ4 어떤 조건이 예측 함수의 유일하고 의미 있는 기능 분해를 산출하는 데 필요한가?
• RQ5 n-Shapley 프레임워크는 국소 후행 해석과 본질적으로 해석 가능한 모델 간의 조율을 어떻게 이루는가?

주요 결과

• n-Shapley Values는 최대 순서 n까지의 상호작용을 포함한 GAM의 진짜 기능 분해를 복원하여, 해석 방법과 해석 가능한 모델 간의 정확한 대응 관계를 확립한다.
• 해석 순서가 모델의 최대 상호작용 순서와 동일하거나 이를 초과할 경우, Shapley 기반 해석(Shapley Taylor 및 Faith-Shap 포함)은 GAMs와 완벽하게 일치한다.
• 개입 기반 SHAP 값은 변수 간 상호작용이 없는 GAMs와 완벽하게 일치하며, 특성 간 의존성 조건 하에서도 해석에 대한 오랫동안 애매한 해소를 제공한다.
• 하위집합 준수 조건 하에서 Shapley-GAM 분해는 유일하게 결정되며, 이는 Shapley Values의 기능적으로 기반된 특성화를 제공한다.
• 작은 표본 크기(예: N=5000)에서는 고차 Shapley 계수의 정밀도가 낮지만, 전체 기능 합은 안정적이며, Folktables Travel 데이터셋에서의 경험적 추정을 통해 이를 입증하였다.
• 결과는 신경망을 포함한 임의의 함수도 Shapley 기반 해석을 통해 고차 상호작용을 포함한 GAM 유사 형태로 기능적으로 분해할 수 있음을 암시한다.