[논문 리뷰] A Theoretical Explanation for Perplexing Behaviors of Backpropagation-based Visualizations

Weili Nie, Yang Zhang외 1명|arXiv (Cornell University)|2018. 05. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 25인용 수 56

한 줄 요약

본 논문은 guided backpropagation과 DeconvNet 시각화가 부분 이미지 복구처럼 작동한다는 이론적 설명을 제시하여, 이들이 saliency 맵보다 해석 가능해 보이지만 클래스 민감도는 낮은 이유를 설명한다.

ABSTRACT

Backpropagation-based visualizations have been proposed to interpret convolutional neural networks (CNNs), however a theory is missing to justify their behaviors: Guided backpropagation (GBP) and deconvolutional network (DeconvNet) generate more human-interpretable but less class-sensitive visualizations than saliency map. Motivated by this, we develop a theoretical explanation revealing that GBP and DeconvNet are essentially doing (partial) image recovery which is unrelated to the network decisions. Specifically, our analysis shows that the backward ReLU introduced by GBP and DeconvNet, and the local connections in CNNs are the two main causes of compelling visualizations. Extensive experiments are provided that support the theoretical analysis.

연구 동기 및 목표

• GBP 및 DeconvNet 시각화에 대한 공식 이론이 부족하다는 점을 동기화한다.
• 백프로파게이션 기반 방법과 부분 이미지 복구를 연결하는 이론적 프레임워크를 제시한다.
• 시각화 동작을 이끄는 주요 요인(역방향 ReLU 및 로컬 CNN 연결)을 식별한다.
• 다양한 CNN 아키텍처와 시각화 시나리오에 대한 실험으로 이론을 검증한다.

제안 방법

• GBP 및 DeconvNet가 네트워크 의사 결정과 무관하게 부분 이미지 복구를 수행한다는 형식적 분석을 개발한다.
• GBP/DeconvNet에서 역방향 ReLU를 주요 메커니즘으로 고립시킨다.
• 시각화를 형성하는 데 있어 CNN의 로컬 연결의 역할을 강조한다.
• 이론적 주장을 뒷받침하는 광범위한 실험을 제공한다.

실험 결과

연구 질문

• RQ1 GBP 및 DeconvNet가 왜 saliency 맵에 비해 해석 가능성이 더 높은 시각화를 생성하면서도 클래스 민감도는 낮은가?
• RQ2 GBP/DeconvNet의 어떤 구성요소가 시각화 동작을 실제 네트워크 의사 결정과 다르게 만드는가?
• RQ3 부분 이미지 복구를 바탕으로 한 이론이 관찰된 시각화 출력에 설명력을 제공할 수 있는가?
• RQ4 역방향 ReLU와 로컬 CNN 연결은 이러한 효과에 어떻게 기여하는가?

주요 결과

• GBP 및 DeconvNet 시각화는 실제로 부분 이미지 복구를 수행하고 있다.
• GBP/DeconvNet에서 도입된 역방향 ReLU가 관찰된 동작의 주요 요인이다.
• CNN의 로컬 연결이 시각화 특성에 기여한다.
• 이론적 분석은 주장들을 뒷받침하는 광범위한 실험과 일치한다.