[논문 리뷰] Exemplary Natural Images Explain CNN Activations Better than Feature Visualizations

Judy Borowski, R. Zimmermann외 5명|arXiv (Cornell University)|2020. 10. 23.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 연구는 합성 특징 시각화와 자연 이미지 예시를 사용하여 CNN 활성화를 설명하는 데 있어 비교 분석을 수행한다. 통제된 심리물리 실험을 통해 자연 이미지가 인간이 특징 맵 반응을 예측하는 데 합성 시각화보다 더 우수한 성능을 보였으며(92% 대비 82% 정확도), 자연 이미지가 더 정보가 많고 향후 시각화 방법의 기준이 되어야 한다는 결론을 이끌어냈다.

ABSTRACT

Feature visualizations such as synthetic maximally activating images are a widely used explanation method to better understand the information processing of convolutional neural networks (CNNs). At the same time, there are concerns that these visualizations might not accurately represent CNNs' inner workings. Here, we measure how much extremely activating images help humans to predict CNN activations. Using a well-controlled psychophysical paradigm, we compare the informativeness of synthetic images (Olah et al., 2017) with a simple baseline visualization, namely exemplary natural images that also strongly activate a specific feature map. Given either synthetic or natural reference images, human participants choose which of two query images leads to strong positive activation. The experiment is designed to maximize participants' performance, and is the first to probe intermediate instead of final layer representations. We find that synthetic images indeed provide helpful information about feature map activations (82% accuracy; chance would be 50%). However, natural images-originally intended to be a baseline-outperform synthetic images by a wide margin (92% accuracy). Additionally, participants are faster and more confident for natural images, whereas subjective impressions about the interpretability of feature visualization are mixed. The higher informativeness of natural images holds across most layers, for both expert and lay participants as well as for hand- and randomly-picked feature visualizations. Even if only a single reference image is given, synthetic images provide less information than natural images (65% vs. 73%). In summary, popular synthetic images from feature visualizations are significantly less informative for assessing CNN activations than natural images. We argue that future visualization methods should improve over this simple baseline.

연구 동기 및 목표

• 합성 특징 시각화와 자연 예시 이미지가 CNN 특징 맵 활성화를 얼마나 효과적으로 설명하는지 평가하기 위해
• 원래 기준으로 삼기 위해 의도된 자연 이미지가 합성 시각화보다 CNN 행동을 이해하는 데 더 유용한 단서를 제공하는지 조사하기 위해
• 다양한 네트워크 계층과 참가자 집단에서 합성 및 자연 기반 기준 이미지를 사용한 인간의 CNN 활성화 예측 성능을 비교하기 위해
• 기준 이미지 유형이 인간의 반응 속도, 자신감 및 주관적 해석 가능성에 미치는 영향을 평가하기 위해

제안 방법

• 참가자들이 두 개의 쿼리 이미지 중에서 특정 CNN 특징 맵을 더 강하게 자극하는 것을 평가하는 통제된 심리물리 실험을 수행하였다.
• 합성 최대 활성화 이미지(Olah et al., 2017)와 동일한 특징 맵을 강하게 자극하는 실제 자연 이미지를 기준 자극으로 사용하였다.
• 특징 맵 활성화 강도를 예측하는 이진 분류 과제에서 인간 성능을 측정하였으며, 정확도를 주요 지표로 삼았다.
• 일반화성을 평가하기 위해 최종 및 중간 계층 CNN 레이어를 모두 테스트하였다.
• 사용자 전문성 수준에 따른 일반화성을 평가하기 위해 전문가 및 비전문가 참가자로부터 데이터를 수집하였다.
• 이미지 유형의 영향을 분리하기 위해 단일 기준 및 이중 기준 조건을 비교하였다.

실험 결과

연구 질문

• RQ1 합성 특징 시각화가 자연 예시 이미지보다 인간이 CNN 특징 맵 활성화를 더 정확하게 예측하는 데 도움이 되는가?
• RQ2 합성 및 자연 기반 기준 이미지를 사용할 때 인간 참가자의 CNN 활성화 예측 성능는 어떻게 달라지는가?
• RQ3 합성 시각화보다 자연 이미지의 성능 우위가 다양한 CNN 계층과 참가자 전문성 수준에서 유지되는가?
• RQ4 자연 이미지와 합성 이미지를 사용할 때 반응 시간과 자신감은 어떻게 다를까?
• RQ5 단일 자연 이미지가 CNN 활성화 패턴에 대해 단일 합성 이미지보다 더 많은 예측 정보를 제공할 수 있는가?

주요 결과

• 자연 예시 이미지가 합성 특징 시각화보다 CNN 활성화 예측에서 유의미하게 뛰어난 성능을 보였으며, 정확도는 92%로 합성 이미지의 82%보다 높았다.
• 자연 이미지의 성능 우위는 대부분의 CNN 계층에서 일관되게 유지되었으며, 중간 계층에서도 마찬가지였다.
• 참가자들은 자연 이미지를 기준으로 사용할 때 더 빠르고 자신감 있게 반응했으며, 이는 사용성 향상을 시사했다.
• 단일 기준 이미지 조건에서도 자연 이미지가 합성 이미지보다 더 나은 예측 성능(73% 정확도 대비 65% 정확도)을 보였다.
• 전문가 및 비전문가 참가자 모두에서 자연 이미지의 우월성이 유지되어 광범위한 적용 가능성을 보였다.
• 합성 시각화에 대한 주관적 인식은 혼재되어 있었으나, 자연 이미지는 항상 더 직관적으로 인식되었다.