[논문 리뷰] A New Method to Visualize Deep Neural Networks

Luisa Zintgraf, Taco Cohen외 1명|arXiv (Cornell University)|2016. 03. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 8인용 수 25

한 줄 요약

이 논문은 조건부 다변량 모델을 사용하여 특정 노드의 예측에 대한 증거 또는 반증이 되는 입력 픽셀의 관련성을 계산하는 새로운 방법을 제안한다. 이는 감도 맵의 한계를 극복하여 각 인스턴스에 맞는 부호가 있는 설명을 제공함으로써, 이미지 영역의 긍정적 및 부정적 기여를 모두 드러내어 합성곱 신경망의 의사결정 과정을 더 깊이 있게 이해할 수 있도록 한다.

ABSTRACT

We present a method for visualising the response of a deep neural network to a specific input. For image data for instance our method will highlight areas that provide evidence in favor of, and against choosing a certain class. The method overcomes several shortcomings of previous methods and provides great additional insight into the decision making process of convolutional networks, which is important both to improve models and to accelerate the adoption of such methods in e.g. medicine. In experiments on ImageNet data, we illustrate how the method works and can be applied in different ways to understand deep neural nets.

연구 동기 및 목표

• 의료와 같이 높은 위험도를 지닌 분야에서 모델의 의사결정이 설명 가능해야 하는 바탕이 되는 딥 네럴 네트워크의 해석 가능성 부족 문제를 해결하기 위해.
• 기존의 시각화 기법인 샐리언시 맵과 디컨볼루션 네트워크의 한계를 극복하기 위해, 클래스에 대한 증거와 반증을 구분하지 못하는 경우가 많기 때문이다.
• 각 입력 픽셀의 기여도를 정량화하여 딥 네럴 네트워크가 예측에 도달하는 방식에 대해 더 엄밀하고 인스턴스 기반의 설명을 제공하기 위해.
• 연구자들과 실무자들이 기능 관련성의 시각적 점검을 통해 모델 행동을 더 잘 진단하고, 편향을 탐지하며, 네트워크 성능을 향상시킬 수 있도록 하기 위해.

제안 방법

• 이 방법은 조건부 다변량 모델을 사용하여 네트워크 내 특정 노드(은닉층 또는 출력층)에 대해 각 입력 픽셀의 관련성을 계산한다.
• Robnik-Šikonja와 Kononenko(2008)의 영향을 받은 펌터베이션 기반 접근법을 사용하여, 각 픽셀을 제거하거나 마스킹했을 때의 노드 활성도 변화를 측정한다.
• 각 픽셀에 대해, 나머지 입력의 다변량 정규분포 근사 하에 픽셀이 존재할 때와 없을 때의 활성도 차이를 관련성으로 계산한다.
• 다양한 크기(k와 l)의 패치 기반 마스킹을 사용하여 局부적 관련성을 계산함으로써 기능 기여의 세밀한 공간적 이해를 가능하게 한다.
• 관련성 점수는 부호가 있는 맵으로 시각화되며, 빨간색은 활성도를 증가시키는 픽셀(클래스에 대한 증거)을, 파란색은 활성도를 감소시키는 픽셀(클래스에 대한 반증)을 나타낸다.
• 이 방법은 초기 합성곱층부터 깊은 특징 맵에 이르기까지 여러 층에 적용되어 계층적 기능 학습을 분석할 수 있다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크에서 특정 클래스 예측에 대해 어떤 입력 픽셀이 증거 또는 반증이 되는지를 어떻게 시각화할 수 있는가?
• RQ2 제안된 방법은 샐리언시 기반 및 디컨볼루션 시각화 기법에 비해 해석 가능성과 정확성 측면에서 어떤 방식으로 향상되는가?
• RQ3 은닉층 유닛의 시각화와 최종 출력층의 시각화는 어떻게 다를 수 있으며, 이는 네트워크의 의사결정 과정에 대해 무엇을 드러내는가?
• RQ4 이 방법은 객체 윤곽선이나 배경 특징 같은 영역에서 긍정적 및 부정적 증거를 모두 탐지하고 강조할 수 있는가? 이를 통해 모델 이해도가 어떻게 향상되는가?
• RQ5 조건부 다변량 모델의 사용은 단순한 기울기 기반 방법에 비해 기능 관련성 맵의 신뢰성과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 샐리언시 맵과 달리 긍정적 기여뿐만 아니라 반증 기여까지 명확히 구분하는 부호가 있는 관련성 맵을 생성한다.
• 이 방법은 객체 윤곽선과 맥락적 배경 특징가 종종 부정적 증거를 지닌다는 것을 드러내며, 기존의 기울기 기반 접근법이 이를 놓치고 있음을 보여준다.
• 최전단(소프트맥스 이전) 층의 시각화는 유사한 클래스(예: 다양한 개 품종)에 대해 유사한 패턴을 보이며, 출력층의 시각화는 코끼리의 귀 모양과 같은 구분 가능한 특징을 드러낸다.
• 은닉층의 시각화는 초기 층이 간단한 특징(예: 선과 무늬)을 감지하는 반면, 더 깊은 층은 눈이나 얼굴의 구조와 같은 복잡하고 의미 있는 패턴에 반응함을 보여준다.
• 이 방법은 깊은 층에서 매우 전문화된 유닛을 식별하며, 희박한 활성도는 개별 특징 맵가 특정 국소적 패턴에 대해 조율되어 있음을 나타낸다.
• k=10과 l=14의 패치 크기를 사용한 조건부 샘플링은 다양한 네트워크 깊이에서 특징 맵 행동을 강력하고 세밀하게 시각화할 수 있도록 한다.