[논문 리뷰] Visual Explanations from Spiking Neural Networks using Interspike Intervals

Youngeun Kim, Priyadarshini Panda|arXiv (Cornell University)|2021. 03. 26.

Advanced Memory and Neural Computing참고 문헌 52인용 수 9

한 줄 요약

이 논문은 백프로파게이션 또는 클래스 레이블 없이 내부 스파이크 활동을 설명할 수 있는 생물학적으로 타당한 시각화 방법인 스파이크 활성도 맵(SAM)을 제안한다. 상호 스파이크 간격(ISIs)과 지수 커널을 사용한 시간적 스파이크 기여도 점수를 활용하여, 전방 전파를 통해 주목사각형을 생성함으로써 구분 가능한 이미지 영역을 강조한다. 이는 적대적 공격에 대해 강건하며, 감각 억제 행동을 보여준다.

ABSTRACT

Spiking Neural Networks (SNNs) compute and communicate with asynchronous binary temporal events that can lead to significant energy savings with neuromorphic hardware. Recent algorithmic efforts on training SNNs have shown competitive performance on a variety of classification tasks. However, a visualization tool for analysing and explaining the internal spike behavior of such temporal deep SNNs has not been explored. In this paper, we propose a new concept of bio-plausible visualization for SNNs, called Spike Activation Map (SAM). The proposed SAM circumvents the non-differentiable characteristic of spiking neurons by eliminating the need for calculating gradients to obtain visual explanations. Instead, SAM calculates a temporal visualization map by forward propagating input spikes over different time-steps. SAM yields an attention map corresponding to each time-step of input data by highlighting neurons with short inter-spike interval activity. Interestingly, without both the backpropagation process and the class label, SAM highlights the discriminative region of the image while capturing fine-grained details. With SAM, for the first time, we provide a comprehensive analysis on how internal spikes work in various SNN training configurations depending on optimization types, leak behavior, as well as when faced with adversarial examples.

연구 동기 및 목표

• 저전력 응용 분야에 점점 더 널리 쓰이고 있는 스파이크 신경망(SNNs)에 대한 설명 가능성 도구의 부족을 해결하기 위해.
• 백프로파게이션 또는 클래스 레이블에 의존하지 않는 시각화 방법을 개발하여, 스파이크 뉴런의 비미분 가능성 문제를 극복하기 위해.
• 서로 다른 SNN 학습 설정(예: 서로그레이던트 및 변환 기반 방법 포함)에서 내부 스파이크 동역학이 어떻게 변화하는지 분석하기 위해.
• 적대적 공격과 다중 객체 자극 조건 하에서 SNN의 강건성과 그 설명의 품질을 평가하기 위해.

제안 방법

• SAM은 각 뉴런의 시간적 스파이크 이력에 기반한 뉴런 기여도 점수(NCS)를 계산하며, 짧은 상호 스파이크 간격(ISIs)을 강조하기 위해 지수 커널을 사용한다.
• 시간적 스파이크 기여도 점수(TSCS)는 짧은 시간 창 내에서 발생하는 스파이크에 더 높은 값을 할당하여 더 높은 정보량을 반영한다.
• NCS는 채널을 따라 집계되어 각 시간스텝에 대한 2차원 공간 히트맵(주의 맵)을 생성한다.
• 이 방법은 전방 전파만을 사용하여 기울기나 백프로파게이션의 필요성을 제거한다.
• SAM은 다양한 SNN 아키텍처(예: VGG11)와 학습 방법(서로그레이던트 및 ANN-SNN 변환 포함)에 적용된다.
• Tiny-ImageNet과 FGSM 공격을 사용하여 검증되며, Grad-CAM과의 비교 분석이 수행된다.

실험 결과

연구 질문

• RQ1 백프로파게이션이나 클래스 레이블에 의존하지 않고 SNN의 내부 스파이크 활동을 어떻게 시각화할 수 있는가?
• RQ2 서로그레이던트 방법과 변환 기반 방법 등 서로 다른 SNN 학습 방법이 스파이크 동역학과 설명 가능성에 어떤 영향을 미치는가?
• RQ3 누출 요소(λ)와 커널 기울기(γ)와 같은 하이퍼파라미터가 시각화 품질과 국소화 정확도에 어떤 영향을 미치는가?
• RQ4 SAM은 기존의 시각화 도구인 Grad-CAM과 비교해 적대적 공격 상황에서 어떻게 성능을 발휘하는가?
• RQ5 SNN은 생물학적으로 타당한 행동, 예를 들어 감각 억제를 보이며, SAM은 이러한 행동을 드러낼 수 있는가?

주요 결과

• 높은 누출 요소(λ=0.9)를 사용할 경우 낮은 국소화 오차(0.97)를 기록하여 뉴런의 충분한 기억 유지가 시각화 품질 향상에 기여함을 시사한다.
• 낮은 누출 값(λ=0.7)은 막대한 정확도 저하(56.57%에서 47.53%로 감소)와 막대한 막힘 현상으로 인해 막대한 정보 손실을 초래하여 시각화 품질이 열악해진다.
• 최적의 γ 값(예: 0.5)은 국소화 오차를 최소화하며, γ=0(필터링 없음)과 γ=1.0(너무 짧은 창)는 성능 저하를 초래한다.
• SAM은 FGSM 공격 조건에서도 일관된 주목사각형을 유지하지만, Grad-CAM은 큰 변화를 보이며 SNN 설명의 우수한 강건성을 입증한다.
• 서로그레이던트 방법으로 학습된 SNN은 감각 억제를 보이며, 시간이 지남에 따라 다수의 객체에서 하나의 주요 객체로 주목의 초점을 이동시킨다. 이는 SAM을 통해 드러난다.
• SAM은 어떤 클래스 레이블이나 기울기 계산 없이도 구분 가능한 이미지 영역을 성공적으로 강조하여, 레이블 없는 해석 가능성의 가능성을 입증한다.