[论文解读] Fast and Efficient Asynchronous Neural Computation with Adapting Spiking Neural Networks

Davide Zambrano, Sander M. Bohté|arXiv (Cornell University)|Sep 7, 2016

Advanced Memory and Neural Computing参考文献 3被引用 43

一句话总结

本文提出自适应脉冲神经网络（ASNNs），采用具有动态适应特性的脉冲神经元，通过稀疏、异步的脉冲编码宽动态范围的激活值。通过将神经适应与突触可塑性相结合，ASNNs 在使用高达10倍少的脉冲和响应速度提升10倍的同时，实现了与基于ReLU的ANN相同的性能，从而实现高效、事件驱动的计算，并符合生物可解释的编码原理。

ABSTRACT

Biological neurons communicate with a sparing exchange of pulses - spikes. It is an open question how real spiking neurons produce the kind of powerful neural computation that is possible with deep artificial neural networks, using only so very few spikes to communicate. Building on recent insights in neuroscience, we present an Adapting Spiking Neural Network (ASNN) based on adaptive spiking neurons. These spiking neurons efficiently encode information in spike-trains using a form of Asynchronous Pulsed Sigma-Delta coding while homeostatically optimizing their firing rate. In the proposed paradigm of spiking neuron computation, neural adaptation is tightly coupled to synaptic plasticity, to ensure that downstream neurons can correctly decode upstream spiking neurons. We show that this type of network is inherently able to carry out asynchronous and event-driven neural computation, while performing identical to corresponding artificial neural networks (ANNs). In particular, we show that these adaptive spiking neurons can be drop in replacements for ReLU neurons in standard feedforward ANNs comprised of such units. We demonstrate that this can also be successfully applied to a ReLU based deep convolutional neural network for classifying the MNIST dataset. The ASNN thus outperforms current Spiking Neural Networks (SNNs) implementations, while responding (up to) an order of magnitude faster and using an order of magnitude fewer spikes. Additionally, in a streaming setting where frames are continuously classified, we show that the ASNN requires substantially fewer network updates as compared to the corresponding ANN.

研究动机与目标

• 解决当前SNNs为匹配ANN性能而需要高发放率导致的低效问题。
• 开发一种符合生物学原理的脉冲神经网络，支持低脉冲使用、异步、事件驱动的计算。
• 实现自适应脉冲神经元对标准深度神经网络中ReLU神经元的直接替换。
• 证明自适应脉冲神经元可在大幅减少脉冲数量和网络更新次数的同时保持高准确率。
• 建立一个框架，使神经适应与突触可塑性紧密耦合，确保跨层信号的正确解码。

提出的方法

• 在脉冲神经元中引入乘法适应模型，根据内部激活水平动态调整放电阈值。
• 采用一种异步脉冲Sigma-Delta调制（APSDM）形式，通过不应期核动力学编码脉冲时间以表示模拟值。
• 采用动力系统公式，利用γ和η核计算膜电位与适应状态，无需存储过去的脉冲时间。
• 将突触可塑性与神经适应紧密耦合，确保下游神经元能正确解码来自适应性突触前神经元的信号。
• 将ASNN直接用作前馈和卷积神经网络中ReLU单元的替代品，无需重新加权或归一化。
• 采用漏积分-放电模型并结合自适应阈值，扩展基于脉冲的信号表示的动态范围。

实验结果

研究问题

• RQ1 具有动态适应特性的脉冲神经元是否能在显著减少脉冲使用的同时，实现与基于ReLU的ANN相当的性能？
• RQ2 如何将神经适应与突触可塑性整合，以确保对上游脉冲信号的正确解码？
• RQ3 自适应脉冲神经元是否可作为标准深度网络中ReLU神经元的即插即用替代品，而无需架构或权重修改？
• RQ4 所提出的ASNN范式在流式推理任务中在多大程度上减少了网络更新次数和脉冲数量？
• RQ5 基于APSDM的编码方案结合自适应脉冲神经元，是否支持高效、异步且稀疏的神经计算？

主要发现

• ASNN在MNIST及其他基准数据集上的分类性能与对应的ReLU-based ANN完全一致。
• 与使用泊松脉冲的SNN相比，ASNN使用的脉冲数量最多减少一个数量级，同时保持或提升了准确率。
• 由于稀疏、事件驱动的计算和脉冲流量的减少，ASNN的响应速度比等效SNN快达10倍。
• 在流式设置中，由于异步且稀疏的激活，ASNN所需的网络更新次数显著少于对应的ANN。
• 在将ReLU单元替换为自适应脉冲神经元时，无需对网络权重进行重加权或归一化，证实了其即插即用的兼容性。
• 所提出的ASNN模型通过利用动态适应与不应期核动力学，支持高效、局部化且异步的计算。