[논문 리뷰] Classifying Images with Few Spikes per Neuron

Christoph Stöckl, Wolfgang Maass|arXiv (Cornell University)|2020. 01. 31.

Advanced Memory and Neural Computing참고 문헌 8인용 수 6

한 줄 요약

이 논문은 피드포워드 ReLU 기반 CNN을 스파iking 신경망(SNN)으로 변환하는 데 있어 극적으로 감소된 지연과 향상된 처리량을 달성하는 새로운 방법인 FS-conversion을 소개한다. 유도형 막 전위가 아닌 지수적으로 감소하는 발화 임계치를 가진 스파이크 뉴런 모델을 사용함으로써, 정보 이론적으로 최적의 성능을 log N 단계 내에서 달성하며, 표준 비율 기반 변환과 비교해 스파이크 수와 지연을 줄였지만 ImageNet과 CIFAR10에서 ANN 정확도를 그대로 유지한다.

ABSTRACT

Spiking neural networks (SNNs) promise to provide AI implementations with a drastically reduced energy budget in comparison with standard artificial neural networks (ANNs). Besides recurrent SNN modules that can be efficiently trained on-chip, many AI applications require the use of feedforward convolutional neural networks (CNNs) as preprocessors for visual or other sensory inputs. The standard solution has been to train a CNN consisting of non-spiking neurons, typically using the rectified linear ReLU function as activation function, and then to translate these CNNs with ReLU neurons via rate coding into SNNs. However this produces SNNs with long latency and small throughput, since the number of spikes that a neuron has to emit is on the order of the number N of output values of the corresponding CNN gate which subsequent layers need to be able to distinguish. We introduce a new ANN-SNN conversion - called FS-conversion - that needs only log N many time steps for that, which is optimal from the perspective of information theory. This can be achieved with a simple variation of the spiking neuron model that has no membrane leak but an exponentially decreasing firing threshold. We show that for the classification of images from ImageNet and CIFAR10 this new conversion reduces latency and drastically increases the throughput compared with rate-based conversion, while achieving almost the same classification performance as the ANN.

연구 동기 및 목표

• 피드포워드 CNN에서 표준 비율 기반 ANN-to-SNN 변환 방법의 높은 지연과 낮은 처리량 문제를 해결하기 위해.
• SNN에서 정확한 이미지 분류를 위해 필요한 뉴런당 스파이크 수를 줄이기 위해.
• 정보 이론적으로 최적의 SNN로의 변환을 가능하게 하는 스파이킹 뉴런 모델을 개발하기 위해.
• 원본 ANN과 동일한 분류 성능를 달성하면서도 스파이크 수와 지연을 최소화하기 위해.

제안 방법

• 막 전위 유출 없이 지수적으로 감소하는 발화 임계치를 가진 수정된 스파이킹 뉴런 모델을 제안한다.
• 이 뉴런 모델을 활용해 N개의 출력 클래스에 대해 단지 log N 단계 내에 SNN 변환을 수행함으로써 정보 이론적 하한선을 충족시킨다.
• ReLU 기반 CNN을 SNN으로 변환하는 과정에서 표준 leaky integrate-and-fire 뉴런 대신 새로운 뉴런 모델을 적용한다.
• 비율 코딩을 통한 ANN-to-SNN 변환을 수행하지만, 새로운 임계치 동역학을 적용해 필요한 스파이크 수를 극적으로 감소시킨다.
• 기존의 ReLU CNN을 일반적으로 훈련한 후, 재훈련 없이 FS-conversion 방법을 사용해 SNN으로 변환한다.
• 표준 벤치마크를 사용해 ImageNet과 CIFAR10에서 정확도, 지연, 처리량을 비교하기 위해 검증을 수행한다.

실험 결과

연구 질문

• RQ1 표준 비율 기반 변환과 비교해, 사전 훈련된 ReLU CNN에서 극적으로 감소된 지연을 가진 SNN을 구성할 수 있는가?
• RQ2 표준 비율 코딩보다 훨씬 적은 뉴런당 스파이크 수로도 SNN에서 거의 동일한 분류 정확도를 달성할 수 있는가?
• RQ3 지수적으로 감소하는 임계치를 가진 스파이킹 뉴런 모델이 정보 이론적으로 최적의 SNN 변환을 가능하게 하는가?
• RQ4 제안된 FS-conversion 방법은 표준 이미지 분류 데이터셋에서 기존의 비율 기반 변환 기법과 비교해 처리량과 지연 측면에서 어떻게 성능을 내는가?

주요 결과

• FS-conversion은 SNN 추론에 필요한 시간 단계 수를 log N으로 줄여 정보 이론적으로 최적의 성능를 달성한다.
• 이 방법은 ImageNet과 CIFAR10에서 원본 ReLU 기반 ANN과 거의 동일한 분류 정확도를 유지한다.
• 표준 비율 기반 변환과 비교해 지연이 극적으로 감소한다. 표준 방법은 O(N) 시간 단계가 필요하기 때문이다.
• 뉴런당 스파이크 수가 줄어들고 추론 윈도우가 짧아져 처리량이 크게 향상된다.
• 지수적으로 감소하는 임계치를 가진 제안된 뉴런 모델은 원본 네트워크의 재훈련 없이도 효율적이고 정확한 SNN 변환을 가능하게 한다.
• 이 방법은 정확도를 유지하면서도 표준 비율 기반 변환보다 지연과 처리량 측면에서 뛰어난 성능를 보인다.