[논문 리뷰] Using KL-divergence to focus Deep Visual Explanation

Housam Khalifa Bashier Babiker, Randy Goebel|arXiv (Cornell University)|2017. 11. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 9인용 수 3

한 줄 요약

이 논문은 분류에 영향을 미치는 주요 이미지 영역에 집중하기 위해 Kullback-Leibler (KL) 발산을 사용하여 딥 컨volution 신경망 예측을 설명하는 새로운 방법을 제안한다. 예측된 클래스 점수와 진짜값 클래스 점수 간의 KL-발산 기울기를 계산하고, 이를 정규화한 후 특성 맵 위에 가중치 맵로 적용함으로써, 분류 결정에 기여하는 분류 가능한 픽셀을 강조하는 주의 히트맵을 생성한다. 이 방법은 VGG-16과 AlexNet 모델에서 기존 방법보다 더 명확한 국소화를 보이며 해석 가능성 향상이 입증되었다.

ABSTRACT

We present a method for explaining the image classification predictions of deep convolution neural networks, by highlighting the pixels in the image which influence the final class prediction. Our method requires the identification of a heuristic method to select parameters hypothesized to be most relevant in this prediction, and here we use Kullback-Leibler divergence to provide this focus. Overall, our approach helps in understanding and interpreting deep network predictions and we hope contributes to a foundation for such understanding of deep learning networks. In this brief paper, our experiments evaluate the performance of two popular networks in this context of interpretability.

연구 동기 및 목표

• 의료 영상과 같은 고위험 분야에서 딥 컨volution 신경망의 해석 가능성 문제를 해결하기 위해.
• 주어진 분류 결정에 가장 영향을 미치는 픽셀을 식별하고 강조하는 방법을 개발하기 위해.
• KL-발산을 관련성 측정 지표로 사용하여 분류 가능한 영역에 집중함으로써 시각화 품질을 향상시키기 위해.
• VGG-16과 AlexNet 등의 다양한 네트워크 아키텍처가 해석 가능한 설명을 생성하는 데서의 성능를 비교하기 위해.

제안 방법

• 사전 훈련된 CNN(예: VGG-16)의 최종 레이어에서 원시 클래스 점수를 계산하고, 이를 기반으로 가우시안 커널 기반 유사도 측정을 통해 연합 확률을 추정한다.
• 퍼플렉서티를 사용하여 클래스 점수 간의 쌍별 유사도를 추정하고, 진짜값 분포를 모델링한다.
• 예측된 분포와 진짜값 분포 간의 KL-발산 기울기를 계산하여 관련성이 높은 뉴런과 특징을 식별한다.
• z-점수 정규화(영점 평균, 단위 분산)를 사용하여 KL-기울기를 정규화하여 주의 가중치 α를 확보한다.
• 정규화된 가중치 α를 특성 맵에 요소별 곱셈으로 적용한 후 채널에 따라 합산하여 선명도 맵을 생성한다.
• 최종 선명도 맵을 시각화를 위해 정규화하여, 분류 결정에 가장 영향을 미치는 픽셀을 강조하는 히트맵을 생성한다.

실험 결과

연구 질문

• RQ1 KL-발산은 딥 네ural 네트워크에서 가장 관련성이 높은 이미지 영역에 집중된 시각적 설명을 어떻게 생성할 수 있는가?
• RQ2 시각적 설명의 품질은 기반 딥 러닝 모델의 정확도와 상관관계가 있는가?
• RQ3 제안된 KL 기반 방법은 국소화 정밀도 측면에서 기존의 설명 기법(예: 가이드드 백프로파게이션 및 Grad-CAM)과 비교해 어떻게 성능을 내는가?
• RQ4 KL-발산 기울기는 다양한 이미지 카테고리에 걸쳐 분류 가능한 특징을 효과적으로 포착할 수 있는가?

주요 결과

• 복잡한 장면에서 기존 방법(예: 가이드드 백프로파게이션 및 Grad-CAM)보다 더 선명하고 집중적인 선명도 맵을 생성한다.
• VGG-16는 AlexNet보다 정확도가 높아, 더 국소화되고 정밀한 주의 맵을 생성하여 모델 정확도와 설명 품질 간의 직접적인 상관관계를 시사한다.
• KL-발산 기울기는 코코아투의 얼굴, 라켓의 렌즈, 교통 신호등의 표지판과 같이 인간의 직관과 일치하는 분류 가능한 영역을 효과적으로 식별한다.
• z-점수 변환을 통한 KL-기울기 정규화는 결과 주의 맵의 안정성과 해석 가능성 향상에 기여한다.
• 이 방법은 COCO 데이터셋의 다양한 이미지에서 분류 결정에 대한 증거를 성공적으로 시각화하여 다양한 객체 카테고리에 걸쳐 강건함을 입증한다.
• 이 알고리즘은 일반화 가능하며, 음성 및 자연어 처리와 같은 다른 도메인으로 확장되어 해석 가능성에 활용될 수 있다.