[논문 리뷰] Visualizing Deep Neural Network Decisions: Prediction Difference Analysis

Luisa Zintgraf, Taco Cohen외 2명|arXiv (Cornell University)|2017. 02. 15.

Explainable Artificial Intelligence (XAI)참고 문헌 10인용 수 431

한 줄 요약

prediction difference analysis를 도입하여 주어진 입력에 대해 어떤 이미지 영역이 신경망의 특정 클래스에 대한 결정의 증거가 되는지 시각화하고, 조건부 다변량 샘플링과 은닉 계층의 심층 시각화를 통해 이전 방법들보다 개선.

ABSTRACT

This article presents the prediction difference analysis method for visualizing the response of a deep neural network to a specific input. When classifying images, the method highlights areas in a given input image that provide evidence for or against a certain class. It overcomes several shortcoming of previous methods and provides great additional insight into the decision making process of classifiers. Making neural network decisions interpretable through visualization is important both to improve models and to accelerate the adoption of black-box classifiers in application areas such as medicine. We illustrate the method in experiments on natural images (ImageNet data), as well as medical images (MRI brain scans).

연구 동기 및 목표

• 의료 및 과학과 같은 고위험 분야에서 해석 가능한 딥러닝의 필요성을 촉구한다.
• 개별 입력에 대해 분류기 결정을 설명하는 인스턴스 특정 시각화 방법을 개발한다.
• 조건부 샘플링, 다변량 분석 및 은닉 계층의 심층 시각화로 기존 시각화 방법을 개선한다.

제안 방법

• WE_i(c|x)를 p(c|x)와 p(c|x_{\backslash i})의 로그오즈 차이로 정의하여 클래스에 대한 특징 관련성을 정량화하기 위해 prediction difference analysis를 기반으로 한다.
• 조건부 샘플링을 도입한다: x̂_i가 x_i를 둘러싼 패치일 때 p(x_i|x_{\backslash i})를 p(x_i|x̂_{\backslash i})로 근사한다.
• 픽셀에 대해 겹치는 패치를 평균화하여 k×k 패치를 평가하는 다변량 샘플링을 채택하여 더 강건한 중요도 추정치를 가능하게 한다.
• 깊은 네트워크에 프레임워크를 확장하기 위해 g(z|h_{\backslash i})와 AD_i(z|h)를 정의하여 은닉 계층이 더 깊은 노드에 기여하는 바를 평가한다.
• S 샘플로 패치 간 WE를 계산하는 알고리즘(Algorithm 1)을 제공한다.
• 로지스틱 회귀 분류기를 사용한 MRI 확산 가중 이미지와 ImageNet DCNN(AlexNet, GoogLeNet, VGG)에서의 적용 가능성을 시연한다.

실험 결과

연구 질문

• RQ1 특정 입력이 DCNN에서 주어진 클래스에 대해 찬반 증거를 얼마나 정량화하고 시각화할 수 있는가?
• RQ2 조건부 다변량 샘플링이 한계적(주변) 단변량 접근법보다 더 정확하고 해석 가능한 설명을 제공하는가?
• RQ3 이 방법이 은닉 계층의 활성화가 더 깊은 계층이나 출력 노드의 결정에 어떤 영향을 미치는지 밝혀낼 수 있는가?
• RQ4 자연 이미지와 의료 이미지 등 다양한 네트워크 아키텍처 및 데이터 모달리티에서 시각화가 어떻게 작동하는가?

주요 결과

• 조건부 샘플링은 주변적 샘플링보다 더 표적화되고 미세한 설명을 제공하며, 객체 주변에 증거를 집중시킨다.
• 다변량 패치 기반 분석은 단일 픽셀 제거에 비해 의미 있고 견고한 관련성 맵을 제공한다.
• 마지막 직전 계층(penultimate) 대 출력 계층에서의 시각화는 서로 다른 클래스 구분 신호를 드러내며, 출력 계층 시각화는 비슷한 클래스들 사이에서 클래스 특이적 결정을 강조한다.
• 이 방법은 AlexNet, GoogLeNet, VGG 간 설명의 아키텍처 의존적 차이를 드러내며, 예를 들어 맥락 초점과 객체 특정 단서를 구분한다.
• MRI 데이터에 적용 시 시각화가 전문가 직관과 일치하고 잡음에 취약한 가중치와 대조되어 임상 해석에 도움을 준다.