[논문 리뷰] Understanding Individual Decisions of CNNs via Contrastive Backpropagation

Jindong Gu, Yinchong Yang외 1명|arXiv (Cornell University)|2018. 12. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 9

한 줄 요약

이 논문은 대조적 시각적 개념에서 유도된 대조 신호를 모델링하여 개별 딥 네ural 네트워크 결정에 대한 클래스 구분형, 픽셀 수준의 설명을 향상시키는 대조적 계층별 관련성 전파(CLRP)를 제안한다. LRP와 달리, CLRP는 비용이 들지 않는 시각화와 정량적 분석을 통해 검증된 인스턴스별, 뉴런 구분형 설명을 생성하여 뉴런 간 기능 주의 패턴의 차이를 드러낸다.

ABSTRACT

A number of backpropagation-based approaches such as DeConvNets, vanilla Gradient Visualization and Guided Backpropagation have been proposed to better understand individual decisions of deep convolutional neural networks. The saliency maps produced by them are proven to be non-discriminative. Recently, the Layer-wise Relevance Propagation (LRP) approach was proposed to explain the classification decisions of rectifier neural networks. In this work, we evaluate the discriminativeness of the generated explanations and analyze the theoretical foundation of LRP, i.e. Deep Taylor Decomposition. The experiments and analysis conclude that the explanations generated by LRP are not class-discriminative. Based on LRP, we propose Contrastive Layer-wise Relevance Propagation (CLRP), which is capable of producing instance-specific, class-discriminative, pixel-wise explanations. In the experiments, we use the CLRP to explain the decisions and understand the difference between neurons in individual classification decisions. We also evaluate the explanations quantitatively with a Pointing Game and an ablation study. Both qualitative and quantitative evaluations show that the CLRP generates better explanations than the LRP. The code is available.

연구 동기 및 목표

• 개별 분류 결정에 대해 계층별 관련성 전파(LRP)가 생성하는 설명의 구분성을 평가하기 위해.
• 특히 딥 타이러 분해를 포함한 LRP의 이론적 기반을 분석하고, 클래스 구분형 설명 생성에서의 한계를 규명하기 위해.
• 개별 결정에 대해 인스턴스별, 클래스 구분형, 픽셀 수준의 설명을 생성하는 새로운 방법인 대조적 계층별 관련성 전파(CLRP)를 제안하기 위해.
• 특히 완전히 연결된 레이어에서 뉴런 활성화 패턴의 차이를 시각화하고 이해할 수 있도록 하기 위해.
• 이전 연구에서의 비효율성을 해결하기 위해, LRP와 CLRP를 GPU 가속화한 PyTorch 기반의 계산 효율적인 구현을 제공하기 위해.

제안 방법

• CLRP는 동일한 레이어의 나머지 뉴런의 활성화로 표현된 반대 시각적 개념을 도입하여 대조 신호를 모델링함으로써 클래스의 구분성을 향상시킨다.
• CLRP의 두 가지 변형이 제안된다: CLRP1은 동일한 레이어의 다른 뉴런의 평균 활성도를 대조 신호로 사용하고, CLRP2는 다른 뉴런의 최대 활성도를 사용한다.
• 대조 신호를 통합한 수정된 관련성 전파 규칙을 적용하여 출력에서 입력으로의 관련성 재분배를 수행함으로써, 구분형 할당을 보장한다.
• 딥 타이러 분해 기반의 선형 근사에 기반해 관련성을 계층별로 전파하며, 목표 클래스와 대조 클래스 간의 차이를 강조하기 위해 조정이 이루어진다.
• ReLU 마스크 및 풀링 스위치와 같은 인스턴스별 구조 정보(ISSInfo)를 활용하여 설명이 인스턴스별로 이루어지도록 보장한다.
• 이전 LRP 구현의 계산 비효율성을 해결하기 위해, 효율적인 추론을 가능하게 하는 GPU 최적화된 PyTorch 구현을 개발했다.

실험 결과

연구 질문

• RQ1 LRP가 생성하는 샐런시 맵은 개별 분류 결정에 대해 진정으로 클래스 구분형인가?
• RQ2 LRP의 이론적 기반은 무엇이며, 본질적으로 구분형 설명 생성을 지원하는가?
• RQ3 반대되는 시각적 개념에서 유도된 대조 신호는 딥 네트워크에서 설명 맵의 구분성을 향상시킬 수 있는가?
• RQ4 완전히 연결된 레이어의 개별 뉴런은 한 개의 입력 이미지에 대해 어떻게 다른 주의 패턴을 보이는가?
• RQ5 포인팅 게임 및 분석 연구와 같은 정량적 지표는 CLRP가 LRP를 능가한다는 것을 검증할 수 있는가?

주요 결과

• LRP는 동일한 레이어의 서로 다른 뉴런 간에 거의 동일한 샐런시 맵을 생성하여, 특징 주의 패턴의 차이를 포착하지 못한다.
• CLRP2는 의미 있는 뉴런별 설명을 생성하여, 서로 다른 뉴런이 이미지의 다른 영역(예: 장난감 상점 이미지에서 사자, 고릴라, 코끼리의 눈 등)에 집중하고 있음을 보여준다.
• 분석 연구 결과, CLRP2가 식별한 구분형 패치를 제거할 경우 해당 뉴런의 활성도가 크게 감소함으로써 설명의 관련성이 검증된다.
• 포인팅 게임 및 분석 연구 결과는 CLRP가 LRP보다 더 정확하고 구분형 높은 설명을 생성함을 보여준다.
• CLRP는 정성적 및 정량적 성능에서 뛰어나며, CLRP2는 뉴런 간 기능 주의 패턴의 차이를 더 잘 드러내는 데 뛰어난 능력을 보인다.
• GPU 최적화된 CLRP의 PyTorch 구현은 이전 LRP 구현 대비 계산 효율성이 크게 향상되었다.