[论文解读] Enabling Spike-based Backpropagation in State-of-the-art Deep Neural Network Architectures

Chankyu Lee, Syed Shakib Sarwar+1 more|arXiv (Cornell University)|Mar 15, 2019

Advanced Memory and Neural Computing参考文献 32被引用 41

一句话总结

该论文提出了一种可微分的脉冲发放神经元（Leaky Integrate-and-Fire, LIF）近似方法，以实现深度脉冲神经网络（SNN）中端到端的脉冲基反向传播，从而在MNIST、SVHN和CIFAR-10数据集上取得了当前最优的分类准确率，同时保持了时间动态特性，并支持稀疏、事件驱动的推理。

ABSTRACT

Spiking Neural Networks (SNNs) has recently emerged as a prominent neural computing paradigm. However, the typical shallow spiking network architectures have limited capacity for expressing complex representations, while training a very deep spiking network have not been successful so far. Diverse methods have been proposed to get around this issue such as converting off-line trained deep Artificial Neural Networks (ANNs) to SNNs. However, ANN-to-SNN conversion scheme fails to capture the temporal dynamics of a spiking system. On the other hand, it is still a difficult problem to directly train deep SNNs using input spike events due to the discontinuous and non-differentiable nature of the spike signals. To overcome this problem, we propose using differentiable (but approximate) activation for Leaky Integrate-and-Fire (LIF) spiking neurons to train deep convolutional SNNs with input spike events using spike-based backpropagation algorithm. Our experiments show the effectiveness of the proposed spike-based learning strategy on state-of-the-art deep networks (VGG and Residual architectures) by achieving the best classification accuracies in MNIST, SVHN and CIFAR-10 datasets compared to other SNNs trained with spike-based learning. Moreover, we analyze sparse event-driven computations to demonstrate the efficacy of proposed SNN training method for inference operation in the spiking domain.

研究动机与目标

• 为解决由于脉冲信号不可微而导致的深度脉冲神经网络（SNN）输入脉冲事件训练难题。
• 实现通过脉冲基反向传播对深度SNN进行直接端到端训练，从而保留传统人工神经网络（ANN）转SNN方法中丢失的时间动态特性。
• 开发一种LIF神经元的可微分近似方法，使梯度能够通过脉冲事件在深层网络中传播。
• 在基于VGG和残差网络结构的最先进深度网络上评估所提方法在图像分类任务中的性能。
• 展示训练后SNN中稀疏、事件驱动推理的高效性。

提出的方法

• 提出一种对脉冲神经元放电行为的可微分近似方法，用于漏电整合-放电（Leaky Integrate-and-Fire, LIF）神经元，以支持通过脉冲事件的梯度计算。
• 应用脉冲基反向传播算法，对深度SNN进行端到端训练，使用输入脉冲序列作为输入。
• 在基于VGG和残差网络架构的深度卷积SNN中应用所提出的可微分LIF神经元。
• 利用事件驱动推理实现稀疏计算，充分发挥脉冲事件固有的稀疏性以提升效率。
• 直接在脉冲编码数据上训练SNN，无需依赖预训练的ANN或转换流水线。
• 使用标准反向传播算法进行网络优化，梯度通过脉冲非线性的可微分近似进行计算。

实验结果

研究问题

• RQ1 能否通过在输入脉冲事件上实现端到端学习，有效训练深度SNN，实现基于脉冲的反向传播？
• RQ2 与现有SNN训练方法相比，所提出的可微分LIF近似在分类准确率方面表现如何？
• RQ3 所提方法是否能在MNIST、SVHN和CIFAR-10等标准图像数据集上实现当前最优性能？
• RQ4 脉冲事件的稀疏性在多大程度上能够提升训练后SNN的推理效率？
• RQ5 与ANN转SNN方法相比，该方法是否能更好地保留脉冲系统的时序动态特性？

主要发现

• 所提方法在MNIST、SVHN和CIFAR-10数据集上，基于脉冲基学习训练的SNN中实现了最佳分类准确率。
• 可微分LIF近似使深层SNN中通过脉冲事件的稳定且高效的反向传播成为可能。
• 该方法成功实现了基于VGG和残差网络架构的深度SNN在输入脉冲事件上的训练。
• 训练后的SNN支持稀疏、事件驱动的推理，展现出脉冲域中的计算效率。
• 该方法在基准图像分类任务中优于现有的基于脉冲的训练方法。
• 结果表明，通过可微分神经元实现的直接脉冲基训练可在保持时间动态特性的同时实现高准确率。