[논문 리뷰] An unexpected unity among methods for interpreting model predictions

Scott Lundberg, Su‐In Lee|arXiv (Cornell University)|2016. 11. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 5인용 수 104

한 줄 요약

본 논문은 기대 샤플리(Expectation Shapley, ES) 값에 기반한 모델-독립적인(additive) 특징 중요도 표현이 다양한 모델 해석 방법을 통합하고 정당화하며, 이를 LIME, DeepLIFT, Layer-wise Relevance Propagation와 ES 값의 근사로 연결한다.

ABSTRACT

Understanding why a model made a certain prediction is crucial in many data science fields. Interpretable predictions engender appropriate trust and provide insight into how the model may be improved. However, with large modern datasets the best accuracy is often achieved by complex models even experts struggle to interpret, which creates a tension between accuracy and interpretability. Recently, several methods have been proposed for interpreting predictions from complex models by estimating the importance of input features. Here, we present how a model-agnostic additive representation of the importance of input features unifies current methods. This representation is optimal, in the sense that it is the only set of additive values that satisfies important properties. We show how we can leverage these properties to create novel visual explanations of model predictions. The thread of unity that this representation weaves through the literature indicates that there are common principles to be learned about the interpretation of model predictions that apply in many scenarios.

연구 동기 및 목표

• 복잡한 모델의 예측을 해석할 필요성을 동기 부여하여 신뢰와 통찰을 촉진한다.
• 특정 공리하에서 최적임이 보장되는 additive 특징 중요도 표현을 제안하고 형식화한다.
• ES 값이 기존 해석 방법들을 어떻게 통합하고 설계 선택을 정당화하는지 보여준다.
• 데이터 세트 전반에 걸친 모델 예측의 해석과 진단을 위한 시각화 전략을 제공한다.

제안 방법

• Shapley 값을 기반으로 입력 특징 간 기여를 분배하는 예측 설명 프레임워크를 채택한다.
• 효율성, 대칭성, 단조성 공리를 만족하는 고유의 additive 해로 ES 값을 도출한다.
• 특정 커널(Shapley 커널)과 손실/정규화 설정을 정의하여 ES 값을 해로 얻는다.
• ES 값을 기존 방법들(LIME, DeepLIFT, LRP)과 근사치나 특수한 경우로 연결한다.
• ES 값을 예측의 힘과 같은(additive) 분해로 표현하는 시각화 접근법을 제안한다.
• ES 값을 추정하기 위한 샘플 효율성과 커널의 중요성, Shapley 회귀 및 LIME과의 비교를 논의한다.

실험 결과

연구 질문

• RQ1 단일 additive 게임 이론 프레임워크가 다양한 예측 설명 방법의 동작을 포괄할 수 있는가?
• RQ2 특징 할당 방법을 제약하는 공리는 무엇이며, 이러한 제약 하의 고유 해는 무엇인가?
• RQ3 LIME, DeepLIFT, LRP와 같은 기존 방법들이 모델 예측 해석 시 ES 값과 어떻게 관련되는가?
• RQ4 실제 모델에서 ES 값을 해석할 때의 실용적 시사점과 시각화는 무엇인가?
• RQ5 커널 선택이 특징 할당의 추정 및 해석에 어떤 영향을 미치는가?

주요 결과

• ES 값은 효율성, 대칭성, 단조성 공리 하에서 모델 예측의 최적이자 고유한 additive 분해를 제공한다.
• Shapley 커널과 대응하는 손실/정규화가 해석 해로 ES 값을 산출하며, 커널은 f(x)=특성 기여의 합으로 표현을 강제한다.
• ES 값은 여러 해석 방법들을 통합하고 합리화하며, 이들이 ES 값의 근사치나 특수한 경우임을 보여준다.
• LIME과 ES 값이 연결되며, ES 값은 LIME이 사용하는 특정 로컬 가중 커널을 정당화한다.
• DeepLIFT와 Layer-wise Relevance Propagation는 선형화되었거나 기준 기반 해석 하에서 ES 값의 근사로 작용하며, 이로써 이들의 계산이 체계적인 기반에 연결된다.
• 힘과 유사한 막대 형태로 ES 값을 시각화하면 개별 예측 및 데이터 세트 전반의 패턴에 대한 특징 기여를 직관적으로 이해할 수 있다.