[논문 리뷰] Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps

Karen Simonyan, Andrea Vedaldi외 1명|arXiv (Cornell University)|2013. 12. 20.

Visual Attention and Saliency Detection참고 문헌 10인용 수 4,905

한 줄 요약

이 논문은 CNN에 대한 그래디언트 기반 시각화 방법을 제시한다: (1) 입력을 최적화하여 클래스-대표 이미지를 생성하고, (2) 약한 감독(localization)을 위한 이미지-특정 saliency 맵을 생성하며, 이를 DeconvNet 재구성과 연결한다.

ABSTRACT

This paper addresses the visualisation of image classification models, learnt using deep Convolutional Networks (ConvNets). We consider two visualisation techniques, based on computing the gradient of the class score with respect to the input image. The first one generates an image, which maximises the class score [Erhan et al., 2009], thus visualising the notion of the class, captured by a ConvNet. The second technique computes a class saliency map, specific to a given image and class. We show that such maps can be employed for weakly supervised object segmentation using classification ConvNets. Finally, we establish the connection between the gradient-based ConvNet visualisation methods and deconvolutional networks [Zeiler et al., 2013].

연구 동기 및 목표

• 비주얼 클래스를 대표 이미지로 시각화하여 ConvNets가 시각적 클래스로 학습한 내용을 이해한다.
• 주어진 이미지에서 클래스 점수에 기여하는 영역을 식별하기 위해 이미지-특정 saliency 맵을 개발한다.
• saliency 맵이 추가 주석 없이도 약한 감독 학습 객체 로컬라이제이션을 가능하게 한다.
• 그래디언트 기반 시각화와 DeconvNet 재구성 간의 이론적 연결을 확립한다.

제안 방법

• 클래스 점수 S_c(I)를 계산하고 L2 정규화 하에서 S_c(I)를 극대화하도록 입력 이미지 I를 최적화한다.
• 주어진 이미지에서 1차 도함수 w = dS_c/dI 를 역전파하여 이미지-특정 saliency 맵 M을 형성하는데, M_ij = |w_h(i,j)| (회색) 또는 M_ij = max_c |w_h(i,j,c)| (컬러).
• 입력 이미지에서 선택된 클래스에 대한 saliency 맵을 얻기 위해 단일 역전파 패스를 사용한다.
• saliency 임계값에서 파생된 전경/배경 색상 모델을 사용하여 GraphCut을 적용해 약한 감독 학습 로컬라이제이션을 달성한다.
• 그래디언트 기반 시각화를 DeconvNet과 연결하여 근사 재구성이 네트워크를 통과하는 그래디언트 역전파와 대응한다는 것을 보인다.

실험 결과

연구 질문

• RQ1 입력에 대한 그래디언트 기반 최적화가 CNN이 특정 클래스에 대해 학습한 개념을 드러낼 수 있는가?
• RQ2 추가 주석 없이 주어진 이미지에서 클래스의 공간적 지지(스펙)를 이미지-특정 saliency 맵으로 드러낼 수 있는가?
• RQ3 그래디언트 기반 시각화 방법이 DeconvNet 재구성과 동등하거나 관련이 있는가?
• RQ4 saliency 주도 로컬라이제이션이 약한 감독 하에서 경쟁력 있는 성능에 도달할 수 있는가?
• RQ5 시각화가 이해를 돕고 학습 프레임워크에의 통합 가능성을 어떻게 제시하는가?

주요 결과

• 클래스-모형 시각화는 클래스 점수 S_c(I)를 최대화하여 해당 클래스가 학습한 시각적 외관을 나타내는 이미지를 생성한다.
• 이미지-특정 saliency 맵은 입력 도함수에서 생성되어 이미지에서 주어진 클래스의 판별적 영역을 강조하며 단일 역전파 패스로도 생성할 수 있다.
• Saliency 맵은 임계값 설정과 GraphCut을 이용해 객체 마스크를 생성하는 약한 감독 학습 기반 물체 로컬라이제이션을 가능하게 하며, 이들의 설정에서 ILSVRC-2013의 top-5 로컬라이제이션 오류를 46.4%로 달성했다.
• 그래디언트 기반 시각화는 DeconvNet 재구성 절차를 일반화하며, 대부분의 층에서 역전파된 그래디언트와 DeconvNet 재구성 간의 동등성 또는 근접한 관계를 보인다.
• 사용된 네트워크는 ILSVRC-2013 검증에서 top-1 39.7% 및 top-5 17.7% 오류를 달성하여 이전의 단일 CNN 결과(40.7%/18.2%)보다 향상되었다.