[논문 리뷰] A Unified Approach to Interpreting Model Predictions

Scott Lundberg, Su‐In Lee|arXiv (Cornell University)|2017. 05. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 8인용 수 7,621

한 줄 요약

본 논문은 SHAP를 소개한다. SHAP은 로컬 정확성(local accuracy), 누락성(missingness), 일관성(consistency)을 독특하게 모두 만족하는 통합된 가법 특성 기여 프레임워크로, 여섯 가지 기존 방법을 하나로 통합하고 모델-무관(model-agnostic) 및 모델-특정(model-specific) 근사를 가능하게 한다. 이론적 보장과 실용적 추정 방법(Kernel SHAP, Deep SHAP)을 제시하며, 실험은 인간 직관과의 정합성이 더 우수함을 보여준다.

ABSTRACT

Understanding why a model makes a certain prediction can be as crucial as the prediction's accuracy in many applications. However, the highest accuracy for large modern datasets is often achieved by complex models that even experts struggle to interpret, such as ensemble or deep learning models, creating a tension between accuracy and interpretability. In response, various methods have recently been proposed to help users interpret the predictions of complex models, but it is often unclear how these methods are related and when one method is preferable over another. To address this problem, we present a unified framework for interpreting predictions, SHAP (SHapley Additive exPlanations). SHAP assigns each feature an importance value for a particular prediction. Its novel components include: (1) the identification of a new class of additive feature importance measures, and (2) theoretical results showing there is a unique solution in this class with a set of desirable properties. The new class unifies six existing methods, notable because several recent methods in the class lack the proposed desirable properties. Based on insights from this unification, we present new methods that show improved computational performance and/or better consistency with human intuition than previous approaches.

연구 동기 및 목표

• 복잡한 모델에서 높은 정확도와 함께 해석 가능한 설명의 필요성을 제시한다.
• 기존 방법을 포함하는 가법 특성 기여에 대한 통합 프레임워크를 도입한다.
• 이 클래스 내에서 바람직한 특성을 만족하는 고유 해를 확립하고 게임 이론적 Shapley 값과의 연계를 제시한다.
• 실용적인 SHAP 값 추정 방법을 개발하고 기존 방법에 비해 향상을 입증한다.

제안 방법

• 가법 특성 기여 설명을 이진 단순 입력의 선형 모델(phi_i 계수)로 정의한다.
• 6개의 기존 방법이 이 정의하에 동일한 설명 모델 형식을 맞춘다는 것을 보인다(LIME, DeepLIFT, Layer-Wise Relevance Propagation, Shapley 기반 방법).
• 협력 게임 이론을 사용하여 로컬 정확성, 누락성, 일관성을 만족하는 고유 해가 존재함을 증명한다(Shapley 값).
• SHAP 값은 원래 모델의 조건부 기대값 함수의 Shapley 값으로 정의된다.
• 모델-무관(Kernel SHAP, Shapley 샘플링) 및 모델-특정(Linear SHAP, Low-Order SHAP, Max SHAP, Deep SHAP) 근사를 제안한다.
• SHAP 값을 계산하는 알고리즘을 제공하고 기존 방법과의 연결에 대해 논의한다.

실험 결과

연구 질문

• RQ1 가법 특성 기여 방법을 하나의 이론적 프레임워크로 통합할 수 있는가?
• RQ2 설명이 신뢰할 수 있고 인간의 판단과 직관적으로 일치하려면 어떤 특성을 충족해야 하는가?
• RQ3 SHAP 값을 모델-무관 및 모델-특정 시나리오 모두에 대해 어떻게 효율적으로 추정할 수 있는가?
• RQ4 SHAP 유도 설명이 이미지 및 텍스트/DL 모델과 같은 작업에서 기존 방법보다 인간의 직관과 더 잘 일치하는가?
• RQ5 SHAP 프레임워크 내에서 기존 방법을 어떻게 개선하거나 확장할 수 있는가?

주요 결과

• 주어진 입력 매핑에 대해 로컬 정확성, 누락성, 일관성을 만족하는 고유한 가법 설명 모델이 존재한다.
• SHAP 값은 여섯 가지 기존 방법을 통합하고 Shapley 값을 통한 특징 기여의 원칙적 근거를 제공한다.
• Kernel SHAP은 모델-무관, 회귀 기반 추정을 제공하며 이전의 Shapley-값 방법들에 비해 표본 효율이 향상된다.
• 특정 아키텍처에 대해 더 빠르거나 더 정확한 기여를 가능하게 하는 모델-특정 변형(Linear SHAP, Deep SHAP, Max SHAP).
• 피험자 기반 연구에서 SHAP 설명은 테스트된 시나리오에서 LIME이나 DeepLIFT보다 인간의 직관과 더 밀접하게 일치하는 것으로 나타났다.
• MNIST 실험은 SHAP 및 그 유도 변형들이 클래스 차이 및 입력 중요도를 더 잘 반영하는 설명을 제공함을 보여준다.