[논문 리뷰] Evaluating the visualization of what a Deep Neural Network has learned

Wojciech Samek, Alexander Binder외 3명|arXiv (Cornell University)|2015. 09. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 25인용 수 18

한 줄 요약

이 논문은 깊이 신경망에서 시각화 열매도의 품질을 객관적으로 평가하기 위해 영역 변형 기반 방법을 제안하며, Layer-wise Relevance Propagation (LRP)가 민감도 기반 또는 탈구성 방법보다 훨씬 더 정확하고 노이즈가 적은 열매도를 생성함을 입증한다. 주요 기여는 네트워크 성능와 상관관계가 있으며, 입력 변형과 모델 출력만을 사용하여 비지도 평가가 가능한 정량적 지표인 평균 예측 변경 순서(AOPC)이다.

ABSTRACT

Deep Neural Networks (DNNs) have demonstrated impressive performance in complex machine learning tasks such as image classification or speech recognition. However, due to their multi-layer nonlinear structure, they are not transparent, i.e., it is hard to grasp what makes them arrive at a particular classification or recognition decision given a new unseen data sample. Recently, several approaches have been proposed enabling one to understand and interpret the reasoning embodied in a DNN for a single test image. These methods quantify the ''importance'' of individual pixels wrt the classification decision and allow a visualization in terms of a heatmap in pixel/input space. While the usefulness of heatmaps can be judged subjectively by a human, an objective quality measure is missing. In this paper we present a general methodology based on region perturbation for evaluating ordered collections of pixels such as heatmaps. We compare heatmaps computed by three different methods on the SUN397, ILSVRC2012 and MIT Places data sets. Our main result is that the recently proposed Layer-wise Relevance Propagation (LRP) algorithm qualitatively and quantitatively provides a better explanation of what made a DNN arrive at a particular classification decision than the sensitivity-based approach or the deconvolution method. We provide theoretical arguments to explain this result and discuss its practical implications. Finally, we investigate the use of heatmaps for unsupervised assessment of neural network performance.

연구 동기 및 목표

• 깊이 신경망에서 시각화 열매도에 대한 객관적 평가 기준이 부족한 문제를 해결하기 위해.
• 실세계 이미지 분류 작업에서 민감도, 탈구성, LRP를 포함한 다양한 열매도 생성 방법의 품질을 비교하기 위해.
• DNN의 예측에 가장 영향을 미치는 이미지 영역을 효과적으로 식별하는 데에 사용할 수 있는 정량적 영역 변형 전략을 개발하기 위해.
• 열매도 품질이 전체 DNN 성능과 상관관계가 있는지 조사하여, 지도 학습이 필요 없이 모델의 학습 진전을 평가할 수 있는지 확인하기 위해.
• 열매도를 단순한 해석 도구가 아니라 DNN의 성능 평가를 위한 이론적 및 실증적 기초를 마련하기 위해.

제안 방법

• 가장 관련성이 높은 픽셀(열매도 값에 따라 순위 매김됨)을 가장 높은 점수를 가진 픽셀부터 순서대로 뒤집는 영역 변형 전략을 제안한다.
• 변형이 진행됨에 따라 상위-1 예측 점수의 감쇠를 측정하며, 이는 평균 예측 변경 순서(AOPC)라는 품질 지표로 사용한다.
• 기울기 기반 민감도, 탈구성, Layer-wise Relevance Propagation (LRP)의 세 가지 열매도 방법을 AOPC 지표를 통해 비교한다.
• LRP에서의 보존 원칙을 활용하여 출력의 관련성을 기울기 의존 없이 입력 픽셀로 완전히 재분배함으로써, 예측 관련성의 완전한 전파를 보장한다.
• SUN397, ILSVRC2012, MIT Places, CIFAR-10 등의 다수의 데이터셋에 AOPC 지표를 적용하여 열매도의 정보량을 평가하고, 이를 네트워크 학습 진전과 상관관계를 분석한다.
• 지침이 없는 평가 과정에서 지도 학습이 필요 없이 표준 이미지 분류 벤치마크를 사용하여 훈련된 DNN에 대해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 시각화 열매도의 품질을 주관적인 인간 평가를 초월하여 객관적으로 측정할 수 있는 방법은 무엇인가?
• RQ2 민감도, 탈구성, LRP를 포함한 다양한 열매도 생성 방법이 분류 결정을 위한 가장 관련 있는 이미지 영역을 식별하는 데 어떻게 비교되는가?
• RQ3 AOPC로 측정된 열매도 품질이 기반 DNN의 전체 성능과 상관관계가 있는가?
• RQ4 열매도 품질을 사용하여 DNN의 학습 진전을 지도 없이 평가할 수 있는가?
• RQ5 LRP는 기울기 기반 및 탈구성 방법에 비해 의미 있는 시각적 설명을 생성하는 데 이론적 및 실증적으로 어떤 우위를 지니는가?

주요 결과

• 모든 테스트 데이터셋에서 LRP로 생성된 열매도가 민감도 및 탈구성 열매도보다 AOPC 점수에서 뚜렷이 뛰어나, 주요 이미지 영역을 더 정확하게 식별함을 시사한다.
• 민감도 기반 열매도는 SUN397 및 MIT Places에서 노이즈가 심하고 거의 무작위적인 패턴을 생성하여 실제 분류 관련 특징과 잘 일치하지 않는다.
• 탈구성 열매도는 민감도 맵보다 노이즈가 적지만, LRP 열매도만큼 희박하고 정보량이 많지는 않으며, LRP 열매도는 더 정확하게 전반적인 구조적 요소를 강조한다.
• CIFAR-10에서 AOPC 값과 네트워크 정확도 사이에 강한 상관관계가 관찰되어, 열매도 품질이 모델의 학습 능력을 반영함을 시사한다.
• AOPC 지표를 통해 테스트 레이블이 필요 없이 열매도의 정보량을 측정함으로써 DNN의 비지도 평가가 가능하다.
• 이론적 분석을 통해 LRP의 보존 원칙이 기울기 기반 방법이 국소 민감도만 반영하는 것과 달리, 관련성의 완전한 전파를 보장함을 입증한다.