[论文解读] Hybrid Macro/Micro Level Backpropagation for Training Deep Spiking Neural Networks

Yingyezhe Jin, Wenrui Zhang+1 more|arXiv (Cornell University)|May 20, 2018

Advanced Memory and Neural Computing被引用 116

一句话总结

该论文提出 HM2-BP，一种混合宏/微观层次反向传播算法，通过通过突触后电位 S-PSP 在突触级别连接速率-based（宏）和尖峰序列（微）误差信号，直接训练深度脉冲神经网络。它在 MNIST、N-MNIST、EMNIST 和 TI46 上实现了最先进的结果，同时高效处理脉冲不连续性和时间动态。

ABSTRACT

Spiking neural networks (SNNs) are positioned to enable spatio-temporal information processing and ultra-low power event-driven neuromorphic hardware. However, SNNs are yet to reach the same performances of conventional deep artificial neural networks (ANNs), a long-standing challenge due to complex dynamics and non-differentiable spike events encountered in training. The existing SNN error backpropagation (BP) methods are limited in terms of scalability, lack of proper handling of spiking discontinuities, and/or mismatch between the rate-coded loss function and computed gradient. We present a hybrid macro/micro level backpropagation (HM2-BP) algorithm for training multi-layer SNNs. The temporal effects are precisely captured by the proposed spike-train level post-synaptic potential (S-PSP) at the microscopic level. The rate-coded errors are defined at the macroscopic level, computed and back-propagated across both macroscopic and microscopic levels. Different from existing BP methods, HM2-BP directly computes the gradient of the rate-coded loss function w.r.t tunable parameters. We evaluate the proposed HM2-BP algorithm by training deep fully connected and convolutional SNNs based on the static MNIST [14] and dynamic neuromorphic N-MNIST [26]. HM2-BP achieves an accuracy level of 99.49% and 98.88% for MNIST and N-MNIST, respectively, outperforming the best reported performances obtained from the existing SNN BP algorithms. Furthermore, the HM2-BP produces the highest accuracies based on SNNs for the EMNIST [3] dataset, and leads to high recognition accuracy for the 16-speaker spoken English letters of TI46 Corpus [16], a challenging patio-temporal speech recognition benchmark for which no prior success based on SNNs was reported. It also achieves competitive performances surpassing those of conventional deep learning models when dealing with asynchronous spiking streams.

研究动机与目标

• 解决因时间动态和不可微分尖峰带来的训练深度SNN的挑战。
• 开发一个可扩展的反向传播框架，通过 S-PSP 将尖峰时序相关联。
• 推导权重的宏观（发放率）和微观（尖峰序列）层级的梯度，针对发放率编码的损失。
• 在 MNIST、N-MNIST、EMNIST 和 TI46 数据集上展示最先进的性能。

提出的方法

• 提出 HM2-BP，它在宏观（发放率）和微观（尖峰序列）两级上反向传播误差。
• 定义尖峰序列级别的突触后电位（S-PSP），以捕捉精确的尖峰时序贡献。
• 使用解耦的微观级别 S-PSP 模型，将发放率效应与时间效应分离，以进行梯度计算。
• 推导梯度，使发放率编码的损失 E = 1/2 ||o − y||^2 直接影响权重更新。
• 提供 LIF 动态的前向仿真以及带宏观/微观传播的反向传播。
• 提供高效的 GPU 实现，并在多种 SNN 架构和数据集上进行评估。

实验结果

研究问题

• RQ1 HM2-BP 是否能够通过将基于发放率的损失通过尖峰序列信息向后传播，直接训练深度 SNN？
• RQ2 双层宏观/微观反向传播是否在可扩展性和准确性方面优于现有的 SNN BP 方法？
• RQ3 S-PSP 及其解耦的微观模型如何使权重梯度的计算成为可能？
• RQ4 与先前的 SNN BP 方法相比，HM2-BP 在 MNIST、N-MNIST、EMNIST 和 TI46 上可达到的准确率是多少？

主要发现

• 在 MNIST 上，HM2-BP 在实验中取得 99.49%（CNN）和 98.93% 的最佳成绩。
• 在 N-MNIST 上，HM2-BP 达到 98.88% 的最好成绩，优于以往的 SNN-BP 方法。
• 在 EMNIST 上，HM2-BP 在 19 轮训练下达到 85.57% 的最佳成绩，优于非脉冲 ANN 和 eRBP 基线。
• 在 TI46 语音上，HM2-BP 在 800-800 和 174 轮训练下达到 90.98% 的最佳成绩，是该数据集上 SNN 的现有最佳。
• HM2-BP 在处理异步脉冲流方面，与传统深度学习模型相比表现具有竞争力。
• 该方法使每次更新可添加/移除多个尖峰，从而提高训练效率。