[논문 리뷰] Smooth Grad-CAM++: An Enhanced Inference Level Visualization Technique for Deep Convolutional Neural Network Models

Daniel Omeiza, Skyler Speakman외 2명|arXiv (Cornell University)|2019. 08. 03.

Explainable Artificial Intelligence (XAI)참고 문헌 13인용 수 158

한 줄 요약

Smooth Grad-CAM++는 SmoothGrad와 Grad-CAM++를 결합하여 추론 시 더 날카롭고 더 잘 위치된 시각적 설명을 제공하며 계층(layer), 특징 맵(feature map), 뉴런 수준의 시각화를 포함합니다.

ABSTRACT

Gaining insight into how deep convolutional neural network models perform image classification and how to explain their outputs have been a concern to computer vision researchers and decision makers. These deep models are often referred to as black box due to low comprehension of their internal workings. As an effort to developing explainable deep learning models, several methods have been proposed such as finding gradients of class output with respect to input image (sensitivity maps), class activation map (CAM), and Gradient based Class Activation Maps (Grad-CAM). These methods under perform when localizing multiple occurrences of the same class and do not work for all CNNs. In addition, Grad-CAM does not capture the entire object in completeness when used on single object images, this affect performance on recognition tasks. With the intention to create an enhanced visual explanation in terms of visual sharpness, object localization and explaining multiple occurrences of objects in a single image, we present Smooth Grad-CAM++ \footnote{Simple demo: http://35.238.22.135:5000/}, a technique that combines methods from two other recent techniques---SMOOTHGRAD and Grad-CAM++. Our Smooth Grad-CAM++ technique provides the capability of either visualizing a layer, subset of feature maps, or subset of neurons within a feature map at each instance at the inference level (model prediction process). After experimenting with few images, Smooth Grad-CAM++ produced more visually sharp maps with better localization of objects in the given input images when compared with other methods.

연구 동기 및 목표

• CNN에 대한 Grad-CAM 기반 설명의 위치화 및 시각적 선명도 향상을 통해 설명 가능 AI를 촉진한다.
• 전체 특징 맵뿐만 아니라 특징 맵 내의 뉴런 부분집합의 시각화도 가능하게 한다.
• 더 나은 디버깅을 위해 레이어, 특정 특징 맵 및 뉴런 좌표를 시각화할 수 있는 추론 시 도구를 제공한다.
• 그라디언트 스무딩을 도입하여 더 완전하고 시각적으로 매력적인 주목도 지도를 생성한다.

제안 방법

• 여러 개의 노이즈가 추가된 입력 샘플에 걸쳐 그라디언트를 평균화하여 SmoothGrad의 스무딩을 Grad-CAM++에 통합한다.
• n개의 노이즈 입력에 걸쳐 1차, 2차, 3차 편미분의 평균을 계산하여 Grad-CAM++에서처럼 alpha와 W 가중치를 얻고 이를 그라디언트 평균으로 적응시킨다.
• 평균화된 그라디언트를 Grad-CAM++ 공식에 적용하여 최종 클래스 구분 가능한 주목도 맵을 생성한다.
• 선택한 레이어, 특징 맵의 부분집합, 그리고 특징 맵의 영역 내 뉴런 좌표를 시각화할 수 있는 API를 제공한다.
• 사전 학습된 모델과 특정 합성곱층(예: VGG-16의 마지막 conv 층)을 사용하여 재학습 없이 추론 시 시각화를 허용한다.
• 디버깅 목적을 위해 영역 기반 뉴런 시각화 또는 좌표 기반 뉴런 부분집합을 선택하는 옵션을 제공한다.

실험 결과

연구 질문

• RQ1 SmoothGrad에서 영감을 얻은 그라디언트 평균화가 Grad-CAM++ 주목도 맵의 시각적 선명도와 위치화를 개선할 수 있는가?
• RQ2 이미지에 동일 클래스의 여러 인스턴스가 나타낼 때 Smooth Grad-CAM++가 객체 위치화를 유지하거나 개선하는가?
• RQ3 사용자가 추론 시 전체 특징 맵뿐만 아니라 특징 맵 내의 뉴런 부분집합도 시각화할 수 있는가?
• RQ4 재학습 없이 다양한 레이어와 특징 맵에서 이 방법의 성능은 어떠한가?
• RQ5 노이즈 수준과 샘플 수가 주목도 맵의 품질에 미치는 영향은 무엇인가?

주요 결과

• Smooth Grad-CAM++는 Grad-CAM 및 Grad-CAM++에 비해 시각적으로 더 선명한 주목도 맵을 제공하며 위치화가 개선된다.
• 이 방법은 예시 이미지에서 객체의 더 큰 부분을 포착하고 더 나은 위치화를 보여준다.
• 이 기법은 개별 특징 맵 수준과 특징 맵 내의 뉴런 부분집합의 시각화를 가능하게 한다.
• API가 레이어, 특징 맵 및 뉴런 영역을 선택하도록 지원하여 유연한 뉴런 수준의 설명을 제공한다.
• 재학습 없이 추론 시 설명 가능성이 향상될 것으로 보이며 특히 다중 객체 발생에 유리하다.