[논문 리뷰] Full-Gradient Representation for Neural Network Visualization

Suraj Srinivas, François Fleuret|arXiv (Cornell University)|2019. 05. 02.

Explainable Artificial Intelligence (XAI)인용 수 74

한 줄 요약

본 논문은 입력과 뉴런 모두에 신경망 출력의 속성을 부여하는 전체 그래디언트 표현인 FullGrad를 제시하며, 완전성 및 약한 의존성을 모두 만족시키고, 정량적 및 정성적 평가를 포함한 컨볼루션 네트워크용 근사 FullGrad를 제시한다.

ABSTRACT

We introduce a new tool for interpreting neural net responses, namely full-gradients, which decomposes the neural net response into input sensitivity and per-neuron sensitivity components. This is the first proposed representation which satisfies two key properties: completeness and weak dependence, which provably cannot be satisfied by any saliency map-based interpretability method. For convolutional nets, we also propose an approximate saliency map representation, called FullGrad, obtained by aggregating the full-gradient components. We experimentally evaluate the usefulness of FullGrad in explaining model behaviour with two quantitative tests: pixel perturbation and remove-and-retrain. Our experiments reveal that our method explains model behaviour correctly, and more comprehensively than other methods in the literature. Visual inspection also reveals that our saliency maps are sharper and more tightly confined to object regions than other methods.

연구 동기 및 목표

• 입력 수준의 중요성과 뉴런 수준의 중요성을 모두 포착하는 속성화 방법의 필요성을 동기화한다.
• 약한 의존성과 완전성을 정의하고 전통적인 주의도 맵이 이 두 가지를 동시에 만족시킬 수 없음을 보인다.
• 입력-그래디언트 및 바이어스-그래디언트 기여를 통합하는 전체 그래디언트 표현을 소개한다.
• 샤프하고 객체에 한정된 주의도 맵을 생성하기 위해 컨볼루션 네트워크용 FullGrad를 제안한다.
• 픽셀 섭동 및 제거 후 재훈련(ROAR 유사) 테스트로 신뢰성을 개선했음을 입증한다.

제안 방법

• 네트워크 출력의 입력-그래디언트와 바이어스-그래디언트로의 전체 그래디언트 분해를 도출한다.
• f(x; b)가 입력-그래디언트 항과 바이어스-그래디언트 항의 합으로 표현될 수 있음을 보인다(f^b(x)).
• CNN에 대해 입력의 수용영역 구조와 같은 바이어스-그래디언트를 시각화하여 뉴런별 및 층별로 네트워크 전체의 주의도 맵을 합산한다.
• 전체 그래디언트 구성 요소를 시각적 주의도 맵으로 변환하는 사후처리 연산자 psi를 정의한다(FullGrad).
• 레이어 간에 축적된 바이어스-그래디언트 맵과 입력-그래디언트 맵을 결합한 근사 FullGrad를 제공한다.
• 네트워크에서의 포함된 바이어스 항을 포함한 시각화 단계와 역할에 대해 논의한다.

실험 결과

연구 질문

• RQ1 주어진 입력에 대한 약한 의존성과 완전성 두 가지를 모두 만족하는 주의도 표현이 가능한가?
• RQ2 입력 특징과 뉴런 기여를 모두 포함하는 보다 표현력 있는 속성화를 어떻게 구성할 수 있는가?
• RQ3 전체 그래디언트 접근법이 기존 방법들보다 더 선명하고 더 국소화된 주의도 맵을 CNN에 제공하는가?
• RQ4 부분扰동 및 재훈련 평가 하에서 전체 그래디언트 기반 주의도 맵이 모델의 동작과 더 잘 일치하는가?
• RQ5 사후처리 선택이 FullGrad의 시각화 도구로서의 효과에 어떤 영향을 미치는가?

주요 결과

• 전체 그래디언트는 입력-그래디언트와 바이어스-그래디언트로부터 네트워크 출력을 재구성함으로써 완전한 표현을 제공한다.
• 바이어스가 있는 ReLU 네트워크의 경우 f(x) = 입력의 그래디언트와 입력의 내적 + 바이어스의 그래디언트와 바이어스의 내적의 합으로 표현된다.
• CNN용 FullGrad는 입력과 동일한 수용영역 구조를 가진 바이어스-그래디언트를 시각화하여 공간 맵을 생성하고, 뉴런별 및 층별 주의도 맵을 만든다.
• 제안된 집계는 객체 영역에 강하게 제한된 샤프한 주의도 맵을 생성하고 내부 구조도 함께 윤곽을 드러낸다.
• 정량적 평가(픽셀 섭동 및 ROAR 유사 테스트)에서 FullGrad가 모델의 동작에 대한 충실도 측면에서 여러 기존 주의도 방법보다 우수함을 보인다.