[논문 리뷰] On the Tractability of SHAP Explanations

Guy Van den Broeck, Anton Lykov외 2명|arXiv (Cornell University)|2020. 09. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 4

한 줄 요약

이 논문은 세 가지 핵심 설정에서 SHAP 설명의 계산 복잡도를 규명한다: 완전 인수분포, 나이브 베이즈 분포, 그리고 경험 분포. 이는 로지스틱 회귀와 신경망에 대해 완전 인수분포 하에서 SHAP 값 계산이 #P-어려움임을 증명하며, 나이브 베이즈 모델에 대해서는 계산이 불가능하며, 경험 데이터조차도 #P-어려움임을 보여, 일반적인 모델에 대해 정확한 계산이 일반적으로 실현 가능하지 않음을 시사한다. 이는 실무에서 널리 사용되고 있음에도 불구하고.

ABSTRACT

SHAP explanations are a popular feature-attribution mechanism for explainable AI. They use game-theoretic notions to measure the influence of individual features on the prediction of a machine learning model. Despite a lot of recent interest from both academia and industry, it is not known whether SHAP explanations of common machine learning models can be computed efficiently. In this paper, we establish the complexity of computing the SHAP explanation in three important settings. First, we consider fully-factorized data distributions, and show that the complexity of computing the SHAP explanation is the same as the complexity of computing the expected value of the model. This fully-factorized setting is often used to simplify the SHAP computation, yet our results show that the computation can be intractable for commonly used models such as logistic regression. Going beyond fully-factorized distributions, we show that computing SHAP explanations is already intractable for a very simple setting: computing SHAP explanations of trivial classifiers over naive Bayes distributions. Finally, we show that even computing SHAP over the empirical distribution is #P-hard.

연구 동기 및 목표

• 다양한 데이터 분포 및 모델 유형에서 SHAP 설명의 계산 복잡도를 규명하는 것.
• 일반적인 기계학습 모델에 대해 SHAP 값이 효율적으로 계산 가능한지 여부라는 열린 질문을 해결하는 것.
• 완전 인수분포나 경험 분포와 같은 단순화된 설정조차도 표준 모델에 대해 계산이 불가능한 이유를 보여주는 것.
• 실제 적용에서 SHAP 설명의 이론적 한계를 명확히 하는 것, 특히 널리 보급된 배경을 고려하여.

제안 방법

• 완전 인수분포, 나이브 베이즈, 경험 분포의 세 가지 데이터 분포 유형에서 SHAP 계산 복잡도를 분석한다.
• 기대 모델 출력 계산 문제를 SHAP 값 계산으로 환원하여, 완전 인수분포 설정에서 복잡도가 동일함을 보여준다.
• PP2CNF 공식의 기대값 계산과 같은 #P-완전 문제로의 환원을 통해 #P-어려움을 증명한다.
• 수정된 함수와 특징 증강을 통해 다항 시간 오라클 기반 변환을 구성하여 SHAP 값을 계산한다.
• 행렬 행렬식 분석과 재귀 관계를 사용하여 환원 과정에서 계수 행렬의 비특이성을 증명한다.
• 기존 공식을 변형하여 다항식 보간과 계수 추출을 통해 기대값을 유도한다.

실험 결과

연구 질문

• RQ1 완전 인수분포 하에서 일반적으로 사용되는 모델인 로지스틱 회귀에 대해 SHAP 설명 계산이 실현 가능한가?
• RQ2 데이터 분포에서 특징 간 독립성 가정이 효율적인 SHAP 계산을 가능하게 하는가?
• RQ3 나이브 베이즈 분포에서 SHAP 설명의 복잡도는 어떠한가? 이는 독립성 가정을 완화한 설정이다.
• RQ4 학습 데이터로부터 유도된 경험 분포를 사용할 경우 SHAP 계산은 실현 가능한가?
• RQ5 룬버그 등(2020)이 제안한 결정 트리에 대한 다항 시간 알고리즘이 정확한 SHAP 계산에 대해 올바른가?

주요 결과

• 완전 인수분포 하에서 로지스틱 회귀 및 시그모이드 활성화를 갖는 신경망에 대해 SHAP 설명 계산은 #P-어려움이다.
• 나이브 베이즈 분포에서조차도 단순 분류기일지라도 SHAP 계산은 불가능하며, 이는 선형 및 로지스틱 회귀 모델의 복잡성까지 포함함을 시사한다.
• 경험 분포에 대한 SHAP 계산은 #P-어려움이며, 실무에서의 정확한 계산이 효율적으로 불가능함을 의미한다.
• SHAP 설명의 복잡도는 완전 인수분포 하에서 기대 모델 출력 계산의 복잡도와 동일하다.
• 룬버그 등(2020)이 제안한 결정 트리에 대한 다항 시간 알고리즘은 정확한 SHAP 계산에 대해 올바르지 않으며, #P-어려움 결과에 의해 이를 입증한다.
• PP2CNF 모델 수세기에서 SHAP 계산으로의 환원은 정확한 SHAP 값이 일반적으로 계산적으로 불가능함을 증명한다.