[논문 리뷰] Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

Andrew Herren, P. Richard Hahn|arXiv (Cornell University)|2022. 08. 21.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 SHAP와 기능적 ANOVA 간의 공식적 연결을 수립하여, SHAP 값이 ANOVA 구성요소의 가중합과 동일하다는 것을 보여준다. 이는 SHAP의 정확도가 기준 분포의 선택과 추정된 ANOVA 항의 수에 의해 결정되며, 이는 해석 가능성의 비용이 존재하고 그 방법에 내재된 통계적 가정에 의존한다는 것을 드러낸다.

ABSTRACT

SHAP is a popular method for measuring variable importance in machine learning models. In this paper, we study the algorithm used to estimate SHAP scores and outline its connection to the functional ANOVA decomposition. We use this connection to show that challenges in SHAP approximations largely relate to the choice of a feature distribution and the number of $2^p$ ANOVA terms estimated. We argue that the connection between machine learning explainability and sensitivity analysis is illuminating in this case, but the immediate practical consequences are not obvious since the two fields face a different set of constraints. Machine learning explainability concerns models which are inexpensive to evaluate but often have hundreds, if not thousands, of features. Sensitivity analysis typically deals with models from physics or engineering which may be very time consuming to run, but operate on a comparatively small space of inputs.

연구 동기 및 목표

• SHAP의 통계적 기초를 기능적 ANOVA 분해와 연결함으로써 명확히 하기.
• 기준 분포의 선택과 ANOVA 항의 수가 SHAP 근사치에 어떤 영향을 미치는지 조사하기.
• SHAP의 해석 가능성은 본질적인 것이 아니며, 암묵적인 통계적 가정에 의존한다는 것을 부각하기.
• 기계학습의 해석 가능성과 컴퓨터 실험에서의 민감도 분석 간 격차를 메우기.
• SHAP에서 기준 분포와 근사 전략을 선택할 때 실무자들이 정보 기반 결론을 내릴 수 있도록 안내하기.

제안 방법

• 저자들은 SHAP 값을 기능적 ANOVA 구성요소의 선형 조합으로 표현하며, 이는 조건부 기대값의 대비이다.
• 기능적 ANOVA 프레임워크를 사용하여 SHAP 값의 계산을 모든 특성 조합에 대한 가중 평균으로 공식화한다.
• 특성 수 $p$ 에 따라 $2^p$ 개의 ANOVA 항을 다양한 기준 분포 하에서 추정하는 방법을 사용한다.
• 몬테카를로 샘플링을 사용하여 네 가지 기준 분포인 전역 독립, 전역 상관, 국소 독립, 단일 기준을 비교한다.
• 선형성과 상호작용 구조가 다른 네 가지 합성 함수에서 SHAP 값을 평가한다.
• 이론적 유도와 실증 계산을 병행하여 기준 선택이 추정된 셰플리 값에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 기준 분포의 선택이 SHAP 값 추정에 어떤 영향을 미치는가?
• RQ2 추정된 ANOVA 항의 수가 SHAP 근사치의 정확도에 어느 정도의 영향을 미치는가?
• RQ3 기능적 ANOVA 분해는 SHAP의 통계적 기초를 어떻게 명확히 하는가?
• RQ4 특성 간 상관관계가 다양한 기준 가정 하에서 SHAP 값에 어떤 영향을 미치는가?
• RQ5 민감도 분석의 통찰은 SHAP 추정치의 수렴성과 신뢰성 향상에 기여할 수 있는가?

주요 결과

• 기준 분포의 선택은 SHAP 값에 심각한 영향을 미치며, 상관이 있는 기준은 독립 또는 국소 기준과는 상당히 다른 결과를 낳는다.
• 전역 상관 기준 분포를 사용할 경우, 특히 특성 간 상호작용이 존재할 경우 추정된 셰플리 값에 상당한 이동이 발생한다.
• 국소 독립 기준은 강한 비선형성 또는 대칭성이 있는 함수에서만 비영인 셰플리 값을 도출하며, 일반화 가능성은 제한된다.
• 단일 기준 접근은 직관적이지만, 기준점을 어디에 두어야 할지에 대한 핵심적인 질문을 제기하며, 유일한 최적 선택은 존재하지 않는다.
• 동일한 모델과 입력에 대해서도 서로 다른 기준 하에서 계산된 SHAP 값은 상호 교환 가능하지 않으며, 이는 추정 대상이 분포 가정에 민감함을 시사한다.
• 기능적 ANOVA 시각은 SHAP가 단일 방법이 아니라, 조건부 기대값 추정에 사용된 기본 분포에 따라 달라지는 추정 대상의 가족임을 드러낸다.