[논문 리뷰] Explaining Deep Neural Networks with a Polynomial Time Algorithm for Shapley Values Approximation

Marco Ancona, Cengiz Öztireli외 1명|arXiv (Cornell University)|2019. 03. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 42인용 수 48

한 줄 요약

본 논문은 Deep Approximate Shapley Propagation (DASP)를 소개합니다. 이는 DNN의 Shapley 값을 근사하기 위한 다항 시간 방법이며, 여러 데이터 세트에 걸쳐 최첨단 방법들보다 더 정확한 특성 부여를 산출한다는 것을 보입니다.

ABSTRACT

The problem of explaining the behavior of deep neural networks has recently gained a lot of attention. While several attribution methods have been proposed, most come without strong theoretical foundations, which raises questions about their reliability. On the other hand, the literature on cooperative game theory suggests Shapley values as a unique way of assigning relevance scores such that certain desirable properties are satisfied. Unfortunately, the exact evaluation of Shapley values is prohibitively expensive, exponential in the number of input features. In this work, by leveraging recent results on uncertainty propagation, we propose a novel, polynomial-time approximation of Shapley values in deep neural networks. We show that our method produces significantly better approximations of Shapley values than existing state-of-the-art attribution methods.

연구 동기 및 목표

• DNN의 신뢰할 수 있는 로컬 설명을 위한 Shapley 값의 사용을 공리적 비교를 통해 동기를 부여한다.
• 심층 네트워크에서 Shapley 값을 위한 다항 시간 근사 알고리즘(DASP)을 개발한다.
• 다양한 데이터 세트와 아키텍처에서 DASP를 최첨단 특성 부여 방법들과 비교 평가한다.

제안 방법

• 제로 베이스라인을 갖는 신경망 입력에 대한 Shapley 값을 정의한다.
• 연합의 분포를 사용하여 크기가 다른 연합 k에서의 기여를 평가해 기대 연합을 근사한다.
• Lightweight Probabilistic Networks (LPN)와 모멘트 매칭을 이용해 네트워크를 통해 입력 불확실성을 전파하고 출력 통계를 얻는다.
• 연합을 가우시안 분포 입력으로 표현하고 네트워크 층(선형, ReLU, max pooling)을 통해 평균/분산 전파를 계산한다.
• 샘플링된 연합 크기(K)에서 각 특징을 포함했을 때와 제외했을 때의 네트워크 출력 차이를 비교하고 기여도를 평균화하여 근사 Shapley 값을 계산한다.
• 모든 연합 크기를 테스트할 때 O(N^2) 평가로 다항 시간 복잡도를 달성하거나, 축소된 크기 집합에 대해 O(KN) 평가를 달성한다.

실험 결과

연구 질문

• RQ1 Shapley 값이 다양한 알고리즘에서 DNN에 대한 원칙적이고 공리적으로 근거 있는 특성 부여를 제공할 수 있는가?
• RQ2 DNN 입력에 대한 Shapley 값을 다항 시간 내에 근사하는 것이 지나친 정확도 손실 없이 실행 가능한가?
• RQ3 DASP가 기존의 역전파 기반 및 섭동 기반 특성 부여 방법들과 정확도와 효율성 면에서 데이터 세트와 아키텍처 전반에서 어떻게 비교되는가?

주요 결과

• DASP는 테스트된 작업에서 경쟁 방법들보다 더 정확한 Shapley-값 특성 부여를 산출한다.
• 이 방법은 모든 입력 특징 수 N에 확장되며 다항 시간 평가를 사용한다(O(N^2)).
• 입력 연합은 가우시안 분포로 모델링되어 LPN 기반 불확실성 전파를 통해 평균과 분산을 네트워크를 통해 전파할 수 있게 한다.
• 파킨슨스 장애 평가, DNA 서열 분류, MNIST에 대한 실증 결과는 편향에 취약하거나 샘플링 기반 접근법에 비해 우수한 성능을 보인다.