[논문 리뷰] Exemplary Natural Images Explain CNN Activations Better than State-of-the-Art Feature Visualization

Judy Borowski, R. Zimmermann외 5명|arXiv (Cornell University)|2020. 10. 23.

Explainable Artificial Intelligence (XAI)인용 수 13

한 줄 요약

이 연구는 오래 등재(2017)의 합성 특징 시각화 결과와 동일한 특징을 강하게 활성화시키는 자연 이미지 예시를 비교함으로써 CNN 활성화 설명의 해석 가능성(해석 가능성)을 평가한다. 통제된 심리물리적 실험을 통해 인간 참가자들이 자연 이미지를 기준으로 보여줄 경우, 합성 시각화보다 유의미하게 더 높은 정확도(92±2%)를 기록함을 발견하였으며, 이는 널리 사용되는 합성 시각화(82±4%)보다 뛰어난 성능임을 시사한다.

ABSTRACT

Feature visualizations such as synthetic maximally activating images are a widely used explanation method to better understand the information processing of convolutional neural networks (CNNs). At the same time, there are concerns that these visualizations might not accurately represent CNNs' inner workings. Here, we measure how much extremely activating images help humans to predict CNN activations. Using a well-controlled psychophysical paradigm, we compare the informativeness of synthetic images by Olah et al. (2017) with a simple baseline visualization, namely exemplary natural images that also strongly activate a specific feature map. Given either synthetic or natural reference images, human participants choose which of two query images leads to strong positive activation. The experiments are designed to maximize participants' performance, and are the first to probe intermediate instead of final layer representations. We find that synthetic images indeed provide helpful information about feature map activations ($82\\pm4\\%$ accuracy; chance would be $50\\%$). However, natural images - originally intended as a baseline - outperform synthetic images by a wide margin ($92\\pm2\\%$). Additionally, participants are faster and more confident for natural images, whereas subjective impressions about the interpretability of the feature visualizations are mixed. The higher informativeness of natural images holds across most layers, for both expert and lay participants as well as for hand- and randomly-picked feature visualizations. Even if only a single reference image is given, synthetic images provide less information than natural images ($65\\pm5\\%$ vs. $73\\pm4\\%$). In summary, synthetic images from a popular feature visualization method are significantly less informative for assessing CNN activations than natural images. We argue that visualization methods should improve over this baseline.

연구 동기 및 목표

• 합성 특징 시각화와 자연 예시 이미지가 CNN 특징 맵 활성화를 설명하는 데 얼마나 정보가 많은지 평가하기 위해.
• 오래 등재(2017)에서 제안한 널리 사용되는 합성 시각화가 인간이 CNN 행동을 해석하는 데 실제로 효과적인지 조사하기 위해.
• 원래 단순 기준으로 고려되었던 자연 이미지가 전문가와 비전문가 모두에게 더 뛰어난 해석 가능성 제공 여부 평가하기 위해.
• 시각화 유형이 인간의 결정 정확도, 반응 시간, 활성화 예측 과제에 대한 자신감에 미치는 영향 측정하기 위해.
• 자연 이미지의 이점이 다양한 네트워크 레이어와 수동으로 선택한, 또는 무작위로 선택한 특징 맵 모두에서 지속되는지 확인하기 위해.

제안 방법

• 인간 참가자가 특정 CNN 특징 맵에서 더 강한 활성화를 유도한 쿼리 이미지 두 개 중 어느 쪽인지 식별하는 통제된 심리물리적 실험을 수행하였다.
• 두 가지 유형의 기준 이미지를 사용하였다: 오래 등재(2017)에서 유도한 합성 최대 활성화 이미지와 동일한 특징 맵을 강하게 활성화시키는 실제 자연 이미지(ImageNet).
• 쿼리 이미지 간 활성화 차이가 명확하고 모호성이 최소화되도록 작업을 설계하여 성능을 극대화하였다.
• 전문가 및 비전문가 참가자로부터 결정 정확도, 반응 시간, 자신감 평가를 수집하였다.
• 네트워크의 여러 레이어에서 수행되었으며, 수동으로 선택한 특징 맵과 무작위로 선택한 특징 맵 모두에서 평가되었다.
• 단일 기준 이미지만 제공하는 경우의 정보 획득 최소화를 위한 분석(ablation study)를 수행하였다.

실험 결과

연구 질문

• RQ1 오래 등재(2017)에서 제안한 합성 특징 시각화가 자연 예시 이미지보다 CNN 활성화를 더 잘 설명하는가?
• RQ2 합성 기준 이미지를 사용할 경우와 자연 기준 이미지를 사용할 경우 인간 참가자의 CNN 활성화 예측 성능는 어떻게 비교되는가?
• RQ3 자연 이미지의 이점이 다양한 네트워크 레이어와 전문가 및 비전문가 사용자 모두에서 유지되는가?
• RQ4 합성 시각화와 자연 시각화를 사용할 경우 반응 시간과 자신감 평가에 어떤 차이가 있는가?
• RQ5 단일 기준 이미지만 제공될 경우 자연 이미지의 성능 향상 효과가 여전히 유의미한가?

주요 결과

• 참가자들은 자연 예시 이미지를 기준으로 보여줄 경우 92±2%의 정확도로 강하게 활성화되는 이미지를 식별하였으며, 이는 합성 시각화를 사용할 경우의 82±4%보다 유의미하게 높았다.
• 성능 격차는 중간 레이어를 포함한 모든 네트워크 레이어에서 지속되었으며, 깊이 있는 또는 浅층 특징에 국한되지 않는다는 점에서 자연 이미지의 이점이 일반화됨을 시사한다.
• 참가자들은 자연 이미지를 기준으로 사용할 경우 더 빠르고 자신감 있게 반응하였으며, 이는 인지 처리 및 해석 가능성 향상과 관련이 있음을 시사한다.
• 단일 기준 이미지만 제공된 경우에도 자연 이미지는 73±4%의 정확도를 기록하여 합성 이미지의 65±5%보다 더 많은 정보를 제공함을 입증하였으며, 이는 자연 이미지가 해석 도구로서의 강건성을 보임을 나타낸다.
• 수동으로 선택한 특징 맵과 무작위로 선택한 특징 맵 모두에서 자연 이미지의 우월성이 유지되었으며, 이는 합성 시각화 대비 일반화된 이점이 있음을 시사한다.
• 주관적 평가 결과, 합성 시각화의 해석 가능성에 대해 혼합된 인식이 있었으나, 자연 이미지는 항상 더 의미 있고 직관적으로 느껴졌다는 평가가 지속되었다.