[논문 리뷰] Towards better understanding of gradient-based attribution methods for Deep Neural Networks

Marco Ancona, Enea Ceolini외 2명|arXiv (Cornell University)|2017. 11. 16.

Adversarial Robustness in Machine Learning인용 수 300

한 줄 요약

본 논문은 네 가지 그래디언트 기반 특성화 방법(Gradient*Input, epsilon-LRP, Integrated Gradients, DeepLIFT)을 분석하고 이론적 연결을 보이고, 통일된 프레임워크를 제안하며, 데이터셋과 아키텍처 전반의 특성 기여도 품질을 평가하는 Sensitivity-n을 도입한다.

ABSTRACT

Understanding the flow of information in Deep Neural Networks (DNNs) is a challenging problem that has gain increasing attention over the last few years. While several methods have been proposed to explain network predictions, there have been only a few attempts to compare them from a theoretical perspective. What is more, no exhaustive empirical comparison has been performed in the past. In this work, we analyze four gradient-based attribution methods and formally prove conditions of equivalence and approximation between them. By reformulating two of these methods, we construct a unified framework which enables a direct comparison, as well as an easier implementation. Finally, we propose a novel evaluation metric, called Sensitivity-n and test the gradient-based attribution methods alongside with a simple perturbation-based attribution method on several datasets in the domains of image and text classification, using various network architectures.

연구 동기 및 목표

• 다양한 아키텍처와 작업 전반에서 DNN 예측에 대한 원칙적이고 비교 가능한 설명의 필요성을 제시한다.
• 그래디언트 기반 특성화 방법을 형식적으로 관련시키고 통합하여 직접 비교 및 구현을 가능하게 한다.
• 특성 부분집합하에서 특성 기여도 합이 출력 변화와 어떤 관계를 가지는지 정량화하기 위해 Sensitivity-n을 도입한다.
• 이미지 및 텍스트 데이터셋에서 방법들을 실증적으로 비교하여 이론적 및 실용적 통찰을 밝혀낸다.

제안 방법

• 수정된 그래디언트 함수로 역전파처럼 epsilon-LRP와 DeepLIFT를 재구성하여 통일된 그래디언트 기반 프레임워크를 만든다.
• 등가성 결과를 입증한다: ReLU 활성화에서 epsilon-LRP는 Gradient*Input에 해당하고, 바이어스 없는 네트워크에서 특정 비선형성을 갖는 경우 DeepLIFT(Rescale)는 Gradient*Input과 일치한다.
• Integrated Gradients와 DeepLIFT가 평균 기울기와 국소 기울기를 통해 어떻게 관련되는지 보여주고, 곱셈적 상호작용에 대한 시사점을 논의한다.
• 특성 부분집합 제거 시 기여도 합이 출력 변화와 얼마나 잘 일치하는지 평가하기 위해 Sensitivity-n을 정의하고 활용한다.
• 일반적인 그래프 기반 프레임워크(예: TensorFlow)에서 커스텀 레이어 없이 이러한 방법들을 구현하기 위한 실용적 지침을 제시한다.

실험 결과

연구 질문

• RQ1 그래디언트 기반 특성화 방법이 서로가 서로와 동등하거나 근사하는 조건은 무엇인가?
• RQ2 통일된 프레임워크가 특성화 방법의 직접 비교와 구현 단순화를 촉진할 수 있는가?
• RQ3 정성적 열지도에 비해 특성화 방법을 어떻게 정량적으로 평가할 수 있는가?
• RQ4 비선형적이거나 곱셈적 상호작용(예: LSTMs)에서 그래디언트 기반 특성화의 한계는 무엇인가?

주요 결과

• epsilon-LRP와 DeepLIFT는 수정된 그래디언트를 사용한 역전파로 재구성될 수 있어, 통일된 프레임워크를 가능하게 한다.”
• ReLU 활성화에서 epsilon-LRP는 Gradient*Input에 상응하며, 원점을 교차하는 특정 비선형성을 갖는 경우 DeepLIFT(제로 기준선)와도 동등하다.
• Integrated Gradients와 DeepLIFT는 종종 밀접하게 관련되며, 실제로는 DeepLIFT가 Integrated Gradients를 잘 근사할 수 있지만 곱셈적 상호작용은 발산을 일으킬 수 있다.
• Occlusion-1은 여전히 강력한 국소 특성화 방법으로 Sensitivity-1을 만족시키고, 그래디언트 기반 방법은 전역 비선형 효과를 더 잘 포착한다.
• 모든 방법은 부호가 있는 기여도를 산출하며 입력은 음의 정보를 포함할 수 있고, 선형 모델은 모든 방법이 서로 동등하게 된다(Sensitivity-n은 모든 n에 대해 성립).
• 제안된 Sensitivity-n 지표는 특징 부분집합 간의 기여도 합이 출력 변화와 어떻게 체계적으로 연관되는지 비교하는 데 도움을 준다.