[论文解读] Algorithm and Hardware Design of Discrete-Time Spiking Neural Networks Based on Back Propagation with Binary Activations

Shihui Yin, Shreyas Kolala Venkataramanaiah+5 more|arXiv (Cornell University)|Sep 19, 2017

Advanced Memory and Neural Computing参考文献 14被引用 5

一句话总结

该论文提出了一种基于反向传播的训练算法，用于离散时间脉冲神经网络（SNNs），采用二值激活和直通梯度估计器，以克服训练难题。该工作引入了两种SNN变体——不连续积分和连续积分，分别实现对速率编码和时间编码脉冲的有效学习，在40nm CMOS神经形态硬件上实现MNIST数据集超过98%的准确率，每幅图像能耗为48.4–773 nJ。

ABSTRACT

We present a new back propagation based training algorithm for discrete-time spiking neural networks (SNN). Inspired by recent deep learning algorithms on binarized neural networks, binary activation with a straight-through gradient estimator is used to model the leaky integrate-fire spiking neuron, overcoming the difficulty in training SNNs using back propagation. Two SNN training algorithms are proposed: (1) SNN with discontinuous integration, which is suitable for rate-coded input spikes, and (2) SNN with continuous integration, which is more general and can handle input spikes with temporal information. Neuromorphic hardware designed in 40nm CMOS exploits the spike sparsity and demonstrates high classification accuracy (>98% on MNIST) and low energy (48.4-773 nJ/image).

研究动机与目标

• 解决使用反向传播训练离散时间脉冲神经网络（SNNs）的挑战，该挑战受脉冲行为不可微分性的阻碍。
• 通过受二值化神经网络启发的直通梯度估计器，实现具有二值激活的SNN的高效训练。
• 设计两种SNN架构——不连续积分与连续积分，分别能够处理速率编码和时间编码的输入脉冲。
• 在40nm CMOS中开发一种神经形态硬件实现，利用脉冲稀疏性实现低功耗运行。
• 在MNIST等基准数据集上实现高分类准确率，同时保持超低能耗。

提出的方法

• 采用直通梯度估计器，通过漏电积分-发放脉冲神经元中的二值激活反向传播梯度。
• 提出两种SNN训练算法：一种采用不连续积分处理速率编码输入，另一种采用连续积分处理时间编码。
• 使用离散时间公式建模脉冲神经元动力学，基于膜电位阈值产生二值输出（0或1）。
• 将二值激活函数集成到反向传播框架中，即使在阈值不可微分的情况下仍允许梯度流动。
• 设计一种面向稀疏脉冲活动和低功耗推理优化的40nm CMOS神经形态硬件架构。
• 在硬件中利用脉冲稀疏性，最小化推理过程中的动态和静态功耗。

实验结果

研究问题

• RQ1 反向传播能否有效应用于具有二值激活的离散时间脉冲神经网络？
• RQ2 在SNN训练中，如何解决脉冲生成不可微分的特性？
• RQ3 采用连续积分的SNN是否比采用不连续积分的SNN更有效地学习时间脉冲模式？
• RQ4 采用二值激活和反向传播的硬件实现SNN可达到的准确率和能效是多少？
• RQ5 40nm CMOS神经形态硬件能否实现每幅图像能耗低于1毫焦耳的高准确率？

主要发现

• 所提出的采用连续积分的SNN在MNIST数据集上实现了超过98%的分类准确率。
• 40nm CMOS硬件实现的能效为每幅图像48.4–773 nJ，具体取决于网络配置。
• 采用二值激活和直通梯度估计器，可在SNN中实现稳定且高效的反向传播。
• 不连续积分变体适用于速率编码输入脉冲，而连续变体支持更丰富的时序编码。
• 神经形态硬件设计成功利用了脉冲稀疏性，显著降低了推理过程中的能耗。
• 结果表明，采用二值激活和反向传播的SNN可实现高准确率与超低能耗，其能效可与传统DNN相媲美。