[논문 리뷰] Grad-CAM: Why did you say that? Visual Explanations from Deep Networks via Gradient-based Localization

Ramprasaath R. Selvaraju, Abhishek Das외 4명|arXiv (Cornell University)|2016. 01. 01.

Multimodal Machine Learning Applications인용 수 75

한 줄 요약

이 논문은 최종 합성곱층에서 유도된 기울기 정보를 활용하여 CNN 기반 모델에 대한 클래스별 구분 가능한 시각적 설명을 생성하는 Grad-CAM 기법을 소개한다. 재학습이 필요 없이 Class Activation Mapping(CAM)을 일반화하여, 약한 감독 하의 국소화에서 기존 기울기 기반 시각화 방법보다 뛰어난 성능을 보이며, 고해상도 시각화를 통해 이미지 분류, 캡션 생성 및 VQA 모델에 대한 이해 가능하고 해석 가능한 통찰을 제공한다.

ABSTRACT

We propose a technique for making Convolutional Neural Network (CNN)-based models more transparent by visualizing the regions of input that are important for predictions from these models - or visual explanations. Our approach, called Gradient-weighted Class Activation Mapping (Grad-CAM), uses the class-specific gradient information flowing into the final convolutional layer of a CNN to produce a coarse localization map of the important regions in the image. Grad-CAM is a strict generalization of the Class Activation Mapping. Unlike CAM, Grad-CAM requires no re-training and is broadly applicable to any CNN-based architectures. We also show how Grad-CAM may be combined with existing pixel-space visualizations to create a high-resolution class-discriminative visualization (Guided Grad-CAM). We generate Grad-CAM and Guided Grad-CAM visual explanations to better understand image classification, image captioning, and visual question answering (VQA) models. In the context of image classification models, our visualizations (a) lend insight into their failure modes showing that seemingly unreasonable predictions have reasonable explanations, and (b) outperform pixel-space gradient visualizations (Guided Backpropagation and Deconvolution) on the ILSVRC-15 weakly supervised localization task. For image captioning and VQA, our visualizations expose the somewhat surprising insight that common CNN + LSTM models can often be good at localizing discriminative input image regions despite not being trained on grounded image-text pairs. Finally, we design and conduct human studies to measure if Guided Grad-CAM explanations help users establish trust in the predictions made by deep networks. Interestingly, we show that Guided Grad-CAM helps untrained users successfully discern a stronger deep network from a weaker one even when both networks make identical predictions.

연구 동기 및 목표

• 예측에 대한 국소화된 시각적 설명을 생성함으로써 딥 CNN의 모델 투명성을 향상시키기 위해.
• 재학습 없이도 작동하고 모든 CNN 아키텍처에 적용 가능한 방법을 개발하기 위해.
• 사용자가 이해하고 예측에 대한 신뢰를 가질 수 있도록 해석 가능한 시각화를 제공하기 위해.
• 예측이 동일한 경우에도 시각적 설명이 사용자가 더 강력한 모델과 더 약한 모델을 구분하는 데 도움이 될 수 있는지 조사하기 위해.

제안 방법

• Grad-CAM은 최종 합성곱층으로 향하는 클래스별 기울기 정보를 계산하여 관련 이미지 영역을 근사적으로 국소화하는 맵을 생성한다.
• 기울기의 전역 평균 풀링을 사용해 특징 맵을 가중치 처리함으로써, 구분 가능한 영역을 강조하는 히트맵을 생성한다.
• 이 방법은 전역 평균 풀링 레이어나 모델 재학습이 필요 없는 Class Activation Mapping(CAM)의 일반화이다.
• Guided Grad-CAM은 Grad-CAM과 유도된 역전파를 조합하여 고해상도의 클래스별 구분 가능한 시각화를 생성한다.
• 이 방법은 이미지 분류, 이미지 캡션 생성 및 시각적 질의 응답(VQA) 모델에 적용되어 주의력과 예측 근거를 분석한다.
• 사용자 신뢰도 및 모델 해석 가능성 향상을 평가하기 위해 인간 실험을 실시한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 기울기 기반 국소화가 딥 CNN 예측에 대해 신뢰할 수 있고 해석 가능한 설명을 제공할 수 있는가?
• RQ2 Grad-CAM은 기존 픽셀 공간 시각화 방법인 유도된 역전파 및 탈합성곱과 비교해 국소화 정확도에서 어떻게 다른가?
• RQ3 이미지-텍스트 쌍 데이터로 훈련되지 않은 모델, 예를 들어 이미지 캡션 생성 및 VQA에서 Grad-CAM은 예측의 근거를 어느 정도 드러낼 수 있는가?
• RQ4 예측이 동일한 경우에도 Guided Grad-CAM과 같은 시각적 설명이 비전문가 사용자가 더 강력한 모델과 더 약한 모델을 구분하는 데 도움이 될 수 있는가?

주요 결과

• Grad-CAM은 ILSVRC-15 약한 감독 하의 국소화 벤치마크에서 기존 픽셀 공간 기반 기울기 시각화 방법인 유도된 역전파 및 탈합성곱보다 뛰어난 성능을 보였다.
• Grad-CAM 시각화 결과는 예상치 못한 예측이 실제로 입력 이미지의 국소화된 근거를 가지고 있음을 드러냈다.
• 이미지 캡션 생성 및 VQA에서 Grad-CAM은 CNN+LSTM 모델이 이미지-텍스트 쌍 데이터로 훈련되지 않았음에도 불구하고 관련 이미지 영역을 국소화할 수 있음을 보여주었다.
• 인간 실험 결과, Guided Grad-CAM은 동일한 예측을 내는 두 모델 간에 더 강력한 모델을 비전문가 사용자가 정확히 식별하는 데 도움이 되었다.
• 시각적 설명은 실패 원인을暴露하고 모델이 의미 있는 이미지 영역에 의존하고 있음을 드러내어 모델의 해석 가능성 향상에 기여했다.