[논문 리뷰] Spike-Train Level Backpropagation for Training Deep Recurrent Spiking Neural Networks

Wenrui Zhang, Peng Li|arXiv (Cornell University)|2019. 08. 18.

Advanced Memory and Neural Computing인용 수 73

한 줄 요약

Spike-Train Level RSNN Backpropagation (ST-RSBP)가 시간 확장 없이 심층 재귀 스파이킹 네트워크를 학습시키고, 기존의 SNN BP 방법 및 비스파이킹 모델과 비교하여 다수의 음성 및 이미지 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

Spiking neural networks (SNNs) well support spatiotemporal learning and energy-efficient event-driven hardware neuromorphic processors. As an important class of SNNs, recurrent spiking neural networks (RSNNs) possess great computational power. However, the practical application of RSNNs is severely limited by challenges in training. Biologically-inspired unsupervised learning has limited capability in boosting the performance of RSNNs. On the other hand, existing backpropagation (BP) methods suffer from high complexity of unrolling in time, vanishing and exploding gradients, and approximate differentiation of discontinuous spiking activities when applied to RSNNs. To enable supervised training of RSNNs under a well-defined loss function, we present a novel Spike-Train level RSNNs Backpropagation (ST-RSBP) algorithm for training deep RSNNs. The proposed ST-RSBP directly computes the gradient of a rated-coded loss function defined at the output layer of the network w.r.t tunable parameters. The scalability of ST-RSBP is achieved by the proposed spike-train level computation during which temporal effects of the SNN is captured in both the forward and backward pass of BP. Our ST-RSBP algorithm can be broadly applied to RSNNs with a single recurrent layer or deep RSNNs with multiple feed-forward and recurrent layers. Based upon challenging speech and image datasets including TI46, N-TIDIGITS, Fashion-MNIST and MNIST, ST-RSBP is able to train RSNNs with an accuracy surpassing that of the current state-of-art SNN BP algorithms and conventional non-spiking deep learning models.

연구 동기 및 목표

• 일반 RSNN의 감독 학습을 위해 명확한 손실 함수와 함께 동기를 부여하고 학습 가능하게 한다.
• 전체 시간 확장을 사용하지 않고 시계열 역학을 다룰 수 있는 확장 가능한 역전파 방법을 개발한다.
• 스파이크-트레인 불연속성을 보존하면서 학습 효율성을 향상시키는 스파이크-트레인 레벨 오차 전파를 유도한다.
• 음성 및 이미지 과제에 걸쳐 다층 피드포워드 및 재귀 계층을 가진 심층 RSNN에서 방법을 시연한다.

제안 방법

• 시간 확장 없이 학습 가능한 파라미터의 그래디언트를 계산하는 스파이크-트레인 레벨 RSNN 백프로퍼게이션(ST-RSBP)을 도입한다.
• 전류-공급 전/후 시퀀스의 상호 작용을 포착하기 위해 Spike-train PSPs(S-PSP)와 총 PSPs(T-PSP)를 정의한다.
• 재귀 연결을 처리하기 위해 연결된 선형 시스템과 함께 스파이크-트레인 레벨 도함수를 사용하여 출력 및 은닉 계층의 역전파된 오차를 도출한다.
• 이전 활성화에 대한 활성화의 편도 파생을 얻기 위해 선형 시스템을 풀어 역전파를 효율적으로 수행한다.
• 손실 E = 1/2 ||o − y||^2를 비율 코드로 적용하고 o ≈ a/ν로 두고 그래디언트 업데이트 Δw = η ∂E/∂w를 도출한다.
• 다층 및 다수의 계층을 가진 RSNN에서 ST-RSBP를 시연하고 HM2-BP 및 다른 SNN BP 접근법과 비교한다.

실험 결과

연구 질문

• RQ1 ST-RSBP가 시간 확장을 하지 않고 재귀 연결을 포함한 임의의 토폴로지의 심층 RSNN을 학습시킬 수 있는가?
• RQ2 스파이크-트레인 수준의 그래디언트가 음성 및 이미지 SNN 벤치마크에서 기존 BP 방법보다 더 높은 정확도를 제공하는가?
• RQ3 동일한 과제에서 ST-RSBP가 최첨단의 비스파이킹 모델에 비해 어떤 성능을 보이는가?
• RQ4 다양한 데이터셋에서 RSNN과 촉방 CNN 모두에 대해 ST-RSBP가 효과적인가?

주요 결과

• ST-RSBP는 TI46-Alpha에서 (최고 93.35% with 400-400-400), TI46-Digits에서 (최고 99.39%), 및 N-Tidigits에서 (최고 93.13%)로 현재 최첨단 SNN BP 방법보다 더 높은 정확도를 달성한다.
• Fashion-MNIST에서 ST-RSBP는 400-R400에서 최고 90.13%를 달성하고 평균/표준편차 0.14%에서 90.13%를 보인다.
• MNIST 스파이킹 CNN에서 ST-RSBP는 최고 정확도 99.62%를 달성하며 비교 가능한 아키텍처에서 HM2-BP 및 다른 BP 규칙을 상회한다.
• ST-RSBP는 동일 데이터셋에서 기존 비스파이킹 모델(LSTM/GRN 등)보다 더 나은 성능을 보인다.
• 이 방법은 시간 확장을 하지 않고 RSNN을 학습시키며 소실/발산 기울이를 피하면서 스파이크-트레인 레벨 정보를 정확히 전달한다.