[논문 리뷰] Axiomatic Attribution for Deep Networks

Mukund Sundararajan, Ankur Taly외 1명|arXiv (Cornell University)|2017. 03. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 29인용 수 2,626

한 줄 요약

본 논문은 심층 네트워크의 특징 귀속에 대해 두 가지 공리—Sensitivity와 Implementation Invariance—를 정의하고, 이러한 공리를 만족하는 경사 기반 방법인 Integrated Gradients를 소개하며, Completeness와 함께 경로 방법 중 고유성에 대한 정당화를 제시한다.

ABSTRACT

We study the problem of attributing the prediction of a deep network to its input features, a problem previously studied by several other works. We identify two fundamental axioms---Sensitivity and Implementation Invariance that attribution methods ought to satisfy. We show that they are not satisfied by most known attribution methods, which we consider to be a fundamental weakness of those methods. We use the axioms to guide the design of a new attribution method called Integrated Gradients. Our method requires no modification to the original network and is extremely simple to implement; it just needs a few calls to the standard gradient operator. We apply this method to a couple of image models, a couple of text models and a chemistry model, demonstrating its ability to debug networks, to extract rules from a network, and to enable users to engage with models better.

연구 동기 및 목표

• 심층 네트워크에 대한 입력 특징에 예측 기여도를 할당하는 귀속 문제를 동기화한다.
• 귀속 방법에 대한 두 가지 기본 공리(Sensitivity와 Implementation Invariance)를 제시한다.
• 공리를 만족하고 구현하기 쉬운 새로운 귀속 방법을 설계한다.

제안 방법

• Integrated Gradients를 기준 입력에서 입력으로의 직선 경로를 따라 그래디언트의 경로적분으로 정의한다.
• Completeness를 증명한다: 귀속의 합은 F(x) - F(x').
• Integrated Gradients가 Sensitivity(a)와 Implementation Invariance를 만족하는지(따라서 Sensitivity도 만족하는지)를 보인다.
• Path Methods가 핵심 공리를 만족하는 유일한 클래스임을 주장하고, Integrated Gradients가 직선 경로의 표준 구성이 됨을 보인다.
• 적분을 유한한 수의 그래디언트 평가(스텝 m)로 근사하는 방법을 논의한다.
• 기준선의 선택과 실용적 계산 고려사항에 대한 지침을 제공한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크에 대한 설명 방법이 어떤 귀속 특성을 만족해야 하는가?
• RQ2 구현 불변성과 입력 변화에 민감성을 동시에 만족하는 귀속 방법을 설계할 수 있는가?
• RQ3 핵심 공리를 만족하고 계산 상 실용적인 경사 기반 귀속 방법 중 표준적인 방법은 무엇인가?

주요 결과

• Integrated Gradients는 F(x) - F(x′)의 차이를 합으로 귀속하는 Completeness를 제공한다.
• 이 방법은 Sensitive와 Implementation Invariance를 만족하여 이전 접근법의 약점을 보완한다.
• Path methods는 제시된 공리를 만족할 수 있는 고유한 클래스이며, Integrated Gradients는 직선 경로의 표준 구성원이다.
• 기 meaningful한 귀속을 위해서는 기준선이 중요한 구성요소이며, 경로를 따라 유한한 수의 그래디언트 평가를 사용하여 실용적으로 근사한다.
• Integrated Gradients는 이미지, 텍스트, 화학 모델에 대해 20에서 300의 그래디언트 평가로 효율적으로 계산될 수 있다.