[논문 리뷰] BS4NN: Binarized Spiking Neural Networks with Temporal Coding and Learning

Saeed Reza Kheradpisheh, Maryam Mirsadeghi외 1명|arXiv (Cornell University)|2020. 07. 08.

Advanced Memory and Neural Computing참고 문헌 57인용 수 4

한 줄 요약

BS4NN는 이산적이고 시간에 따라 변화하는 스파iking 신경망(SNNs)을 위한 새로운 학습 알고리즘을 제안한다. 이 알고리즘은 이산적이고 +1 또는 -1인 합성 시냅스 가중치와 시간에 따라 첫 번째 스파이크가 발생하는 데 걸리는 시간을 기반으로 하는 시간 코드를 사용한다. 학습 과정에서는 실수형 프록시 가중치를 사용하고, 역전파를 수행하며, 이 프록시 가중치는 직선 추정법(Stealth-Through Estimator, STE)을 통해 업데이트된다. 반면, 순방향 전파에서는 이산적 가중치를 사용한다. 이 방법은 MNIST와 Fashion-MNIST에서 각각 97.0%와 87.3%의 정확도를 달성하였으며, 정밀도가 높은 SNN 모델과 비교해 각각 0.4%와 0.7%의 정확도 손실만을 보였다.

ABSTRACT

We recently proposed the S4NN algorithm, essentially an adaptation of backpropagation to multilayer spiking neural networks that use simple non-leaky integrate-and-fire neurons and a form of temporal coding known as time-to-first-spike coding. With this coding scheme, neurons fire at most once per stimulus, but the firing order carries information. Here, we introduce BS4NN, a modification of S4NN in which the synaptic weights are constrained to be binary (+1 or -1), in order to decrease memory (ideally, one bit per synapse) and computation footprints. This was done using two sets of weights: firstly, real-valued weights, updated by gradient descent, and used in the backward pass of backpropagation, and secondly, their signs, used in the forward pass. Similar strategies have been used to train (non-spiking) binarized neural networks. The main difference is that BS4NN operates in the time domain: spikes are propagated sequentially, and different neurons may reach their threshold at different times, which increases computational power. We validated BS4NN on two popular benchmarks, MNIST and Fashion-MNIST, and obtained reasonable accuracies for this sort of network (97.0% and 87.3% respectively) with a negligible accuracy drop with respect to real-valued weights (0.4% and 0.7%, respectively). We also demonstrated that BS4NN outperforms a simple BNN with the same architectures on those two datasets (by 0.2% and 0.9% respectively), presumably because it leverages the temporal dimension. The source codes of the proposed BS4NN are publicly available at https://github.com/SRKH/BS4NN.

연구 동기 및 목표

• 다층 스파킹 신경망에 대해 이산적 합성 시냅스 가중치를 갖는 직접적인 지도 학습 알고리즘을 개발한다.
• 가중치를 ±1로 제약함으로써 SNN의 메모리 및 계산 비용을 줄인다.
• 시간에 따라 첫 번째 스파이크가 발생하는 데 걸리는 시간을 기반으로 하는 시간 코드를 활용해 계산 효율성과 에너지 절약을 향상시킨다.
• 뉴모르픽 컴퓨팅과 엣지 AI에 적합한 하드웨어 우수한 SNN을 가능하게 한다.
• 이산적 SNN이 정밀도가 높은 모델과 비교해 최소한의 정확도 저하로 경쟁 가능한 성능을 달성할 수 있음을 입증한다.

제안 방법

• 스파이크가 자극 당 최대 한 번만 발생하는 비누화적 적분-화염(IF) 뉴런을 사용하며, 스파이크는 시간에 따라 첫 번째 스파이크가 발생하는 데 걸리는 시간을 기반으로 코드화된다.
• 두 종류의 가중치를 사용한다: 역전파를 위한 실수형 프록시 가중치와 순방향 전파를 위한 이산적 가중치(프록시 가중치의 부호).
• 학습 과정에서 이산적 가중치를 통해 기울기를 역전파하기 위해 직선 추정법(Stealth-Through Estimator, STE)을 적용한다.
• 스파이크 도착 즉시 잠재적 변화를 일으키는 즉각적 시냅스를 구현함으로써 계산 및 에너지 비용을 감소시킨다.
• 예측된 출력과 목표 출력 간의 화염 시간 차이를 최소화하는 시간 기반 학습 규칙을 사용해 네트워크를 학습시킨다.
• 스파킹 뉴런의 비미분 가능한 임계값 함수를 처리하기 위해 대체 기울기 접근법을 적용한다.

실험 결과

연구 질문

• RQ1 이산적 SNN에서 이산적 가중치를 사용해도 표준 벤치마크에서 높은 성능를 달성하면서 메모리 및 계산 비용을 낮출 수 있는가?
• RQ2 시간에 따라 첫 번째 스파이크가 발생하는 데 걸리는 시간을 기반으로 하는 시간 코드가 이산적 SNN에서 빈도 코드와 비교해 정확도와 에너지 효율성 측면에서 어떻게 다른가?
• RQ3 직선 추정법(Stealth-Through Estimator, STE)이 시간 기반 역전파와 결합된 이산적 가중치를 갖는 SNN을 효과적으로 학습시킬 수 있는가?
• RQ4 비누화적 IF 뉴런과 즉각적 시냅스를 사용함으로써 이산적 SNN의 에너지 효율성과 하드웨어 호환성이 향상되는가?
• RQ5 기존의 BNN과 변환된 BSNN과 비교해 BS4NN는 정확도와 학습 효율성 측면에서 어떻게 다른가?

주요 결과

• BS4NN는 MNIST에서 97.0%의 정확도와 Fashion-MNIST에서 87.3%의 정확도를 달성하였으며, 정밀도가 높은 SNN 모델과 비교해 각각 0.4%와 0.7%의 정확도 손실만을 보였다.
• 유사한 아키텍처를 가진 표준 BNN보다 MNIST에서 0.2% 향상되고 Fashion-MNIST에서 0.9% 향상되어 시간 코드의 우수성을 입증하였다.
• 이산적 가중치를 사용함으로써 메모리 용량을 시냅스당 1비트로 줄여 32비트 부동소수점 가중치 대비 32배 압축을 달성하였다.
• BS4NN는 시뮬레이션 시간 단계에 관계없이 일정한 학습 시간을 유지한다. 반면, 대체 기울기 방법은 시간에 비례해 증가한다.
• 희박하고 비동기적인 스파이크 전송 및 최소한의 상태 요구 조건 덕분에 뉴모르픽 하드웨어에서 매우 효율적이다.
• 소스 코드는 재현성과 향후 연구를 위해 https://github.com/SRKH/BS4NN 에 공개되어 있다.