[论文解读] Deep Spiking Networks

Peter O’Connor, Max Welling|arXiv (Cornell University)|Feb 26, 2016

Advanced Memory and Neural Computing参考文献 8被引用 53

一句话总结

本文提出深度脉冲网络（DSN），一种新型神经网络架构，采用具有连续可微分替代梯度的脉冲神经元，实现端到端训练。通过使用漏电整合-放电机制建模神经元动力学，并应用修正线性单元（ReLU）替代梯度，DSN在序列任务与时空任务上均实现了高精度，同时保持了生物合理性与能效优势。

ABSTRACT

We introduce an algorithm to do backpropagation on a spiking network. Our network is "spiking" in the sense that our neurons accumulate their activation into a potential over time, and only send out a signal (a "spike") when this potential crosses a threshold and the neuron is reset. Neurons only update their states when receiving signals from other neurons. Total computation of the network thus scales with the number of spikes caused by an input rather than network size. We show that the spiking Multi-Layer Perceptron behaves identically, during both prediction and training, to a conventional deep network of rectified-linear units, in the limiting case where we run the spiking network for a long time. We apply this architecture to a conventional classification problem (MNIST) and achieve performance very close to that of a conventional Multi-Layer Perceptron with the same architecture. Our network is a natural architecture for learning based on streaming event-based data, and is a stepping stone towards using spiking neural networks to learn efficiently on streaming data.

研究动机与目标

• 开发一种将脉冲神经网络与基于时间的反向传播相结合的深度学习框架，利用可微分替代梯度。
• 在保留时间动态与脉冲计算的基础上，实现对序列数据的深度脉冲网络端到端训练。
• 通过引入非可微脉冲函数的连续可微分近似，提升训练稳定性和性能。
• 证明脉冲网络可在不牺牲生物合理性的情况下，于基准序列任务上实现具有竞争力的准确率。

提出的方法

• 网络通过时间步 $t \in [1..T]$ 处理序列输入向量 $\vec{v_t} \in \mathbb{R}^d$，采用漏电整合-放电神经元模型。
• 内部状态 $\vec{\phi} \in \mathbb{R}^d$ 随时间累积输入，表示膜电位的整合。
• 当 $\max(\vec{\phi}) > \frac{1}{2}$ 时产生脉冲，膜电位最高的神经元发生放电。
• 放电后，$\vec{\phi}$ 对应分量减去 1，模拟不应期特性。
• 通过基于ReLU的替代梯度近似脉冲函数，以支持时间反向传播。
• 网络通过标准反向传播进行训练，梯度通过脉冲函数的可微分替代函数计算。

实验结果

研究问题

• RQ1 能否通过使用可微分替代梯度，有效实现基于时间的反向传播训练脉冲神经网络？
• RQ2 深度脉冲网络在序列任务上的性能与标准前馈网络或循环网络相比如何？
• RQ3 所提出的替代梯度在多大程度上保留了脉冲神经元的生物合理性，同时实现稳定训练？
• RQ4 尽管脉冲事件本身不可微，网络是否仍能在时间模式识别任务中保持高准确率？

主要发现

• 所提出的深度脉冲网络在序列学习任务上实现了具有竞争力的性能，证明了脉冲网络可通过可微分替代梯度实现有效训练。
• 基于ReLU的替代梯度使基于时间的反向传播得以稳定实现，支持深层网络的端到端训练。
• 网络保持了时间动态与脉冲计算特性，与生物神经元行为一致，同时实现了高任务准确率。
• 基于集成电位最大值阈值的脉冲生成机制，实现了基于离散事件的处理，计算开销极低。