[논문 리뷰] Spike time displacement based error backpropagation in convolutional spiking neural networks

Maryam Mirsadeghi, Majid Shalchian외 2명|arXiv (Cornell University)|2021. 08. 31.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 단일 스파이크 시간 코드를 사용하는 깊이 있는 컨volution스피킹뉴럴네트워크(CSNN)를 훈련시키기 위해 STiDi-BP 알고리즘의 확장을 제안한다. 오차 역전파를 위해 재귀적 백프로파게이션을 피하기 위해 스파이크 시간 이동을 사용한다. MNIST에서 99.2%의 정확도와 Fashion-MNIST에서 92.8%의 정확도를 달성하며, 메모리와 계산 비용을 줄이기 위해 이진 가중치 버전을 도입하여 정확도가 0.6–0.8% 감소하는 데 그친다.

ABSTRACT

We recently proposed the STiDi-BP algorithm, which avoids backward recursive gradient computation, for training multi-layer spiking neural networks (SNNs) with single-spike-based temporal coding. The algorithm employs a linear approximation to compute the derivative of the spike latency with respect to the membrane potential and it uses spiking neurons with piecewise linear postsynaptic potential to reduce the computational cost and the complexity of neural processing. In this paper, we extend the STiDi-BP algorithm to employ it in deeper and convolutional architectures. The evaluation results on the image classification task based on two popular benchmarks, MNIST and Fashion-MNIST datasets with the accuracies of respectively 99.2% and 92.8%, confirm that this algorithm has been applicable in deep SNNs. Another issue we consider is the reduction of memory storage and computational cost. To do so, we consider a convolutional SNN (CSNN) with two sets of weights: real-valued weights that are updated in the backward pass and their signs, binary weights, that are employed in the feedforward process. We evaluate the binary CSNN on two datasets of MNIST and Fashion-MNIST and obtain acceptable performance with a negligible accuracy drop with respect to real-valued weights (about $0.6%$ and $0.8%$ drops, respectively).

연구 동기 및 목표

• 원래 완전히 연결된 SNN용으로 설계된 STiDi-BP 알고리즘을 단일 스파이크 기반 시간 코드를 사용하는 더 깊고 컨volution형 아키텍처로 확장하기 위해.
• 지역 오차 계산을 위해 스파이크 시간 이동을 사용하여 백프로파게이션에서 재귀적 역전파 기울기 계산을 제거하기 위해.
• 추론 시 부호 기반 가중치를 사용하고 학습 시 실수값 가중치를 사용하는 이진 가중치 CSNN 변형을 통해 SNN의 메모리 및 계산 비용을 줄이기 위해.
• 시간 코드를 사용하는 깊이 있는 CSNN을 직접, 종단 간 훈련하여 사전 훈련된 ANN으로의 변환을 피하기 위해.
• 이진 가중치 CSNN이 에너지 효율적인 뉴로모픽 하드웨어에 적합하게 근접한 경쟁 성능를 달성하면서 정확도 저하가 최소한임을 입증하기 위해.

제안 방법

• 스파이크 시간 이동을 통해 예측된 전사 시간을 계산하여 STiDi-BP 알고리즘을 컨볼루션 레이어에 적응시키며, 재귀적 백프로파게이션 없이 지역 오차 계산이 가능하게 한다.
• 스파이크 지연 시간의 막대기 기울기의 선형 근사를 사용하여 기울기를 효율적으로 계산한다.
• 조각별 선형 후유신호 전위와 ReLU 기반의 PSP 모델을 사용하여 신경 동역학을 단순화하고 계산 복잡도를 감소시킨다.
• 전방 계산 시 이진 가중치(실수값 가중치의 부호)를 사용하고, 역방향 계산 시 기울기 하강법을 통해 실수값 가중치를 갱신하는 이진 가중치 CSNN(BCSNN)을 도입한다.
• 각 레이어 또는 필터당 하나의 전체 정밀도 스케일링 인자를 사용하여 정확도를 유지하면서 32비트 부동소수점 가중치 대비 32배 메모리 사용량을 줄인다.
• 수신 영역 내에서 첫 번째 스파이크 시간 기반의 맥스 풀링을 적용하며, 이는 시간 코드와 자연스럽게 호환되며 계산 부담을 줄인다.

Figure 1 : The piecewise linear postsynaptic potential caused by the presynaptic spike time $t_{j}$ .

실험 결과

연구 질문

• RQ1 STiDi-BP 알고리즘이 단일 스파이크 시간 코드를 사용하는 깊이 있고 컨볼루션형 스파이크 신경망을 효과적으로 훈련시키는 데 확장될 수 있는가?
• RQ2 스파이크 시간 이동을 통해 재귀적 백프로파게이션을 피할 경우, 기존 BP 대비 깊이 있는 SNN에서 계산 및 메모리 비용이 감소하는가?
• RQ3 STiDi-BP로 훈련된 이진 가중치 CSNN이 높은 정확도를 달성하면서 성능 저하가 최소한이 되며 효율적인 하드웨어 배포가 가능한가?
• RQ4 제안된 CSNN의 성능은 MNIST 및 Fashion-MNIST와 같은 표준 벤치마크에서 기존 최고 수준의 SNN과 비교해 어떻게 되는가?
• RQ5 시간 기반 단일 스파이크 코드와 첫 번째 스파이크 풀링의 사용이 신경 처리를 얼마나 단순화하고 계산 오버헤드를 줄이는가?

주요 결과

• 제안된 STiDi-BP 기반 CSNN은 MNIST 데이터셋에서 99.2%의 정확도를 달성하여 단일 스파이크 코드를 사용하는 깊이 있는 컨볼루션 SNN의 효과적인 훈련을 입증한다.
• 더 복잡한 Fashion-MNIST 데이터셋에서 CSNN은 92.8%의 정확도를 달성하여 도전적인 이미지 분류 작업에서의 능력을 확인한다.
• 이진 가중치 변형(BCSNN)은 실수값 CSNN 대비 MNIST에서 0.6%의 정확도 저하, Fashion-MNIST에서 0.8%의 정확도 저하를 보이며, 성능 손실가 최소한임을 보여준다.
• BCSNN은 메모리 사용량을 32배 줄이고 부동소수점 승산 연산을 단순한 증가/감소 연산으로 대체하여 효율적인 뉴로모픽 하드웨어 배포를 가능하게 한다.
• 재귀적 기울기 계산을 피함으로써 각 레이어당 공간 복잡도를 O(N)으로 줄여, 비율 코드 기반 방법의 O(NT) 대비 메모리 및 계산 요구량을 크게 감소시킨다.
• 첫 번째 스파이크 기반 맥스 풀링은 자연스럽게 지원되며 계산적으로 효율적이며, SNN의 이벤트 기반 성격과 일치하여 처리 비용을 추가로 줄인다.

Figure 3 : The mean required number of spikes in the input, convolutional, hidden, and total layers in R-CSNN.