[논문 리뷰] Hybrid Macro/Micro Level Backpropagation for Training Deep Spiking Neural Networks

Yingyezhe Jin, Wenrui Zhang외 1명|arXiv (Cornell University)|2018. 05. 21.

Advanced Memory and Neural Computing참고 문헌 22인용 수 43

한 줄 요약

HM2-BP를 도입한 하이브리드 매크로/마이크로 수준 역전파 알고리즘으로, 매크로 수준의 레이트-코딩 손실 역전파를 스파이크 트레인 수준 PSP(S-PSP)를 통한 마이크로 수준의 역전파와 연결함으로써 심층 스파이킹 뉴럴 네트워크를 직접 학습합니다. 이 방법은 MNIST, N-MNIST, EMNIST, TI46에서 최첨단 결과를 달성했고 비동기 스파이킹 스트림에서도 강력한 성능을 보여줍니다.

ABSTRACT

Spiking neural networks (SNNs) are positioned to enable spatio-temporal information processing and ultra-low power event-driven neuromorphic hardware. However, SNNs are yet to reach the same performances of conventional deep artificial neural networks (ANNs), a long-standing challenge due to complex dynamics and non-differentiable spike events encountered in training. The existing SNN error backpropagation (BP) methods are limited in terms of scalability, lack of proper handling of spiking discontinuities, and/or mismatch between the rate-coded loss function and computed gradient. We present a hybrid macro/micro level backpropagation (HM2-BP) algorithm for training multi-layer SNNs. The temporal effects are precisely captured by the proposed spike-train level post-synaptic potential (S-PSP) at the microscopic level. The rate-coded errors are defined at the macroscopic level, computed and back-propagated across both macroscopic and microscopic levels. Different from existing BP methods, HM2-BP directly computes the gradient of the rate-coded loss function w.r.t tunable parameters. We evaluate the proposed HM2-BP algorithm by training deep fully connected and convolutional SNNs based on the static MNIST [14] and dynamic neuromorphic N-MNIST [26]. HM2-BP achieves an accuracy level of 99.49% and 98.88% for MNIST and N-MNIST, respectively, outperforming the best reported performances obtained from the existing SNN BP algorithms. Furthermore, the HM2-BP produces the highest accuracies based on SNNs for the EMNIST [3] dataset, and leads to high recognition accuracy for the 16-speaker spoken English letters of TI46 Corpus [16], a challenging patio-temporal speech recognition benchmark for which no prior success based on SNNs was reported. It also achieves competitive performances surpassing those of conventional deep learning models when dealing with asynchronous spiking streams.

연구 동기 및 목표

• 복잡한 시간 역학과 비-미분 가능 스파이크를 가진 심층 SNN 학습의 도전을 다룹니다.
• 가중치에 대한 레이트-코딩 손실의 그래디언트를 직접 계산하는 학습 알고리즘을 개발합니다.
• 스파이크 트레인 수준 포스트시냅틱 포텐셜(S-PSP)을 통해 정확한 시간적 효과를 포착합니다.
• 매크로(레이트) 및 마이크로(스파이크 트레인) 수준 간의 상호작용을 포함하여 역전파를 가능하게 합니다.

제안 방법

• S-PSP를 전처리/후처리 프레이밍으로 간주하여 포스트시냅틱 뉴런에 기여하는 전/후시냅틱 스파이크 트레인의 미시적 기여로 모델링합니다.
• 매크로 레벨의 레이트-코드 손실 E를 1/2||o−y||^2로 정의하고 발화 수 o를 마이크로 수준의 총 포스트시냅틱 포텐셜 a와 o≈a/ν로 관계지웁니다.
• 그래디언트 ∂E/∂wij를 매크로-레벨과 마이크로-레벨 항의 곱으로 도출하여 두 수준 간의 역전파를 가능하게 합니다.
• a^{m}_{i} = ∑j w_{ij} e^{m}_{i|j}를 계산하고, e_{i|j}를 스파이크 트레인 수준 포스트시냅틱 포텐셜(S-PSP)로 정의합니다.
• 레이트 및 시간 효과를 분리하기 위해 decoupled 마이크로-레벨 S-PSP 모델 e^{k}_{i|j} ≈ α̂ o^{k}_{j} o^{k}_{i}를 도입하여 ∂e^{k}_{i|j}/∂o^{k}_{i}, ∂e^{k}_{i|j}/∂o^{k}_{j}를 추정합니다.
• 전방 LIF 역학과 Spike Response Model(SRM) 매핑을 사용하여 S-PSP(ε) 기여도(Eq. 8)와 총 S-PSP 기여(Eq. 9)를 계산합니다.
• 매크로-레벨 δ 항과 마이크로-레벨 도함수를 결합하여 ∂E/∂wij(Eq. 23)와 층별 δ 항(Eq. 24)을 얻고 역전파를 수행합니다.
• 데이터 의존 가중치를 갖는 Adam으로 학습하고 출력 계층의 선택적 측면 억제를 통해 수렴 속도를 높입니다.

실험 결과

연구 질문

• RQ1 깊은 SNN에서 스파이킹 불연속성을 준수하면서 레이트-코드 손실에 대한 가중치 그래디언트를 계산할 수 있는가?
• RQ2 매크로-마이크로 역전파 프레임워크가 기존 SNN BP 방법들보다 확장성 및 정확도를 향상시키는가?
• RQ3 스파이크 타이밍 정보를 차별화 가능성이나 학습 효율성을 희생하지 않고 어떻게 통합할 수 있는가?
• RQ4 HM2-BP의 MNIST, N-MNIST, EMNIST, TI46 음성 벤치마크에서의 실험적 이득은 무엇인가?
• RQ5 마이크로-레벨 S-PSP를 레이트와 시간 구성 요소로 분리하는 것이 그래디언트 계산을 용이하게 하는가?

주요 결과

• HM2-BP는 여러 벤치마크에서 최첨단 결과를 달성합니다: MNIST (99.49%), N-MNIST (98.88%), EMNIST (85.57% with 800 hidden units).
• TI46 음성에서 HM2-BP는 800-800 은닉층에서 90.98% 정확도를 달성하여 이 데이터셋에서 SNN의 기록입니다.
• MNIST CNN에서 HM2-BP는 STBP 방법들과 비교해 경쟁력 있는 학습 에폭으로 99.49%를 달성합니다(가장 높은 성과).
• 본 방법은 깊은 완전 연결 및 컨볼루션 SNN으로 확장 가능하며 비동기 스파이킹 스트림에서 기존 딥 러닝 모델에 비해 경쟁력 있는 성능을 보여줍니다.
• 분리된 S-PSP 모델은 전-및 포스트시냅틱 발화율에 대한 해석 가능한 도함수를 가능하게 하며, 비미분 가능한 스파이크 이벤트에 대한 그래디언트 계산을 촉진합니다.