[논문 리뷰] Hybrid Macro/Micro Level Backpropagation for Training Deep Spiking Neural Networks

Yingyezhe Jin, Wenrui Zhang외 1명|arXiv (Cornell University)|2018. 05. 20.

Advanced Memory and Neural Computing인용 수 116

한 줄 요약

본 논문은 HM2-BP를 제안합니다. 이는 기준율(매크로)과 스파이크 트레인(마이크로) 에러 신호를 스파이크 트레인 수준의 후시냅스 potentials(S-PSP)을 통해 연결함으로써 깊은 스파이킹 신경망을 직접 학습시키는 하이브리드 백프로파게이션 알고리즘입니다. 이를 통해 MNIST, N-MNIST, EMNIST, TI46에서 최첨단 성능을 달성하며 스파이크 비연속성 및 시간적 동역학을 효율적으로 다룹니다.

ABSTRACT

Spiking neural networks (SNNs) are positioned to enable spatio-temporal information processing and ultra-low power event-driven neuromorphic hardware. However, SNNs are yet to reach the same performances of conventional deep artificial neural networks (ANNs), a long-standing challenge due to complex dynamics and non-differentiable spike events encountered in training. The existing SNN error backpropagation (BP) methods are limited in terms of scalability, lack of proper handling of spiking discontinuities, and/or mismatch between the rate-coded loss function and computed gradient. We present a hybrid macro/micro level backpropagation (HM2-BP) algorithm for training multi-layer SNNs. The temporal effects are precisely captured by the proposed spike-train level post-synaptic potential (S-PSP) at the microscopic level. The rate-coded errors are defined at the macroscopic level, computed and back-propagated across both macroscopic and microscopic levels. Different from existing BP methods, HM2-BP directly computes the gradient of the rate-coded loss function w.r.t tunable parameters. We evaluate the proposed HM2-BP algorithm by training deep fully connected and convolutional SNNs based on the static MNIST [14] and dynamic neuromorphic N-MNIST [26]. HM2-BP achieves an accuracy level of 99.49% and 98.88% for MNIST and N-MNIST, respectively, outperforming the best reported performances obtained from the existing SNN BP algorithms. Furthermore, the HM2-BP produces the highest accuracies based on SNNs for the EMNIST [3] dataset, and leads to high recognition accuracy for the 16-speaker spoken English letters of TI46 Corpus [16], a challenging patio-temporal speech recognition benchmark for which no prior success based on SNNs was reported. It also achieves competitive performances surpassing those of conventional deep learning models when dealing with asynchronous spiking streams.

연구 동기 및 목표

• 시간적 동역학과 비미분 가능 스파이크로 인한 심층 SNN 학습의 도전 과제를 다룬다.
• 스파이크 타이밍을 방출율(S-PSP)을 통해 연결하는 확장 가능한 역전파 프레임워크를 개발한다.
• 매크로(발화율) 및 마이크로(스파이크 트레인) 레벨을 통해 가중치에 대한 발화율 인코딩 손실의 기울기를 도출한다.
• MNIST, N-MNIST, EMNIST, TI46 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• HM2-BP를 도입하여 매크로(발화율) 및 마이크로(스파이크 트레인) 레벨에서 오차를 역전파한다.
• 실제 스파이크 타이밍 기여를 포착하기 위해 스파이크 트레인 수준 포스트-시냅틱 포텐셜(S-PSP)을 정의한다.
• 그레이디언트 계산을 위해 매크로-마이크로 분리된 마이크로 레벨 S-PSP 모델을 사용하여 속도 및 시간적 효과를 분리한다.
• 가중치 업데이트를 직접적으로 이끌도록 r = 0.5 ||o − y||^2 형태의 비율 인코딩 손실의 기울기를 도출한다.
• LIF 동역학의 순전파 시뮬레이션과 매크로/마이크로 전파를 통한 역전파를 제공한다.
• 다양한 SNN 아키텍처 및 데이터셋에 대해 효율적인 GPU 구현을 제공하고 평가한다.

실험 결과

연구 질문

• RQ1 HM2-BP가 스파이크 트레인 정보에 의해 역전파되는 비율 기반 손실을 통해 심층 SNN을 직접 학습시킬 수 있는가?
• RQ2 듀얼 매크로/마이크로 역전파가 기존 SNN BP 방법들보다 확장성 및 정확도를 개선하는가?
• RQ3 S-PSP와 이를 분리한 마이크로 모델이 가중치에 대한 기울기 계산을 어떻게 가능하게 하는가?
• RQ4 HM2-BP가 MNIST, N-MNIST, EMNIST 및 TI46에서 기존의 SNN BP 방법들과 비교해 어떤 정확도를 달성하는가?

주요 결과

• MNIST에서 HM2-BP는 99.49% (CNN) 및 실험 전반에서 98.93%의 최상치를 달성한다.
• N-MNIST에서 HM2-BP는 98.88%의 최상치를 달성하여 기존의 SNN-BP 방법들을 능가한다.
• EMNIST에서 HM2-BP는 19 에포크로 85.57%의 최상치를 달성하며 비스파이킹 인공신경망 및 eRBP 기준선을 상회한다.
• TI46 음성에서 HM2-BP는 800-800 및 174 에포크에서 90.98%의 최상치를 달성하며 이 데이터셋에서 SNN의 최첨단 성능이다.
• HM2-BP는 비동기 스파이킹 스트림에 대해 기존의 딥러닝 모델과의 경쟁력 있는 성능을 보여준다.
• 각 업데이트마다 다중 스파이크를 추가/제거할 수 있어 학습 효율이 향상된다.