[论文解读] Efficient Computation in Adaptive Artificial Spiking Neural Networks

Davide Zambrano, Roeland Nusselder+2 more|arXiv (Cornell University)|Oct 13, 2017

Advanced Memory and Neural Computing参考文献 22被引用 19

一句话总结

本文提出自适应脉冲神经网络（AdSNNs），采用基于自适应阈值的脉冲时间编码，在实现与深度人工神经网络（ANNs）相当的高精度的同时，将脉冲发放率降低了一个数量级。通过基于快速适应的动态阈值建模脉冲生成，AdSNNs 实现了高效、低频的神经编码，其性能与 ANNs 相当，且具有生物上合理的脉冲活动特性。

ABSTRACT

Artificial Neural Networks (ANNs) are bio-inspired models of neural computation that have proven highly effective. Still, ANNs lack a natural notion of time, and neural units in ANNs exchange analog values in a frame-based manner, a computationally and energetically inefficient form of communication. This contrasts sharply with biological neurons that communicate sparingly and efficiently using binary spikes. While artificial Spiking Neural Networks (SNNs) can be constructed by replacing the units of an ANN with spiking neurons, the current performance is far from that of deep ANNs on hard benchmarks and these SNNs use much higher firing rates compared to their biological counterparts, limiting their efficiency. Here we show how spiking neurons that employ an efficient form of neural coding can be used to construct SNNs that match high-performance ANNs and exceed state-of-the-art in SNNs on important benchmarks, while requiring much lower average firing rates. For this, we use spike-time coding based on the firing rate limiting adaptation phenomenon observed in biological spiking neurons. This phenomenon can be captured in adapting spiking neuron models, for which we derive the effective transfer function. Neural units in ANNs trained with this transfer function can be substituted directly with adaptive spiking neurons, and the resulting Adaptive SNNs (AdSNNs) can carry out inference in deep neural networks using up to an order of magnitude fewer spikes compared to previous SNNs. Adaptive spike-time coding additionally allows for the dynamic control of neural coding precision: we show how a simple model of arousal in AdSNNs further halves the average required firing rate and this notion naturally extends to other forms of attention. AdSNNs thus hold promise as a novel and efficient model for neural computation that naturally fits to temporally continuous and asynchronous applications.

研究动机与目标

• 为解决现有脉冲神经网络（SNNs）中高脉冲发放率效率低下的问题，该问题与生物神经元中 1–5 Hz 的低发放率形成鲜明对比。
• 开发一种脉冲神经网络架构，使其在显著降低脉冲发放率的前提下，仍能匹配深度人工神经网络（ANNs）的性能。
• 通过自适应机制（如基于唤醒的调制）实现对编码精度的动态控制，进一步降低所需的脉冲发放率。
• 推导出自适应脉冲神经元的有效传递函数，实现无需微调即可将 ANN 单元直接替换为脉冲神经元。

提出的方法

• 采用具有脉冲触发适应特性的自适应脉冲神经元（ASN）模型，其中阈值在每次脉冲后通过衰减核以乘法方式增加。
• 使用脉冲时间编码方案，其中脉冲数量编码输入幅值，发放率由参数 $ m_f $、$ heta_0 $ 和脉冲高度 $ h $ 动态控制。
• 推导出有效传递函数 $ f(S) $ 的解析表达式，该函数将连续激活值 $ S $ 映射为归一化输出 $ y(S) $，从而实现无需微调即可将 ANN 单元替换为脉冲神经元。
• 引入一种动态的“唤醒”机制，选择性地在特定输入上提高发放率，从而在不增加整体发放率的前提下提升编码精度。
• 使用指数衰减核 $ au_ heta $、$ au_ ho $、$ au_ u $ 建模突触后电位（PSPs），通过递归动力系统实现高效计算。
• 校准传递函数，确保当 $ S ≤ heta_0/2 $ 时 $ f(S) = 0 $，并引入校正项 $ c $ 以使函数与期望的激活阈值对齐。

实验结果

研究问题

• RQ1 具有动态阈值的自适应脉冲神经元是否能在远低于传统 SNNs 的脉冲发放率下，实现与深度 ANNs 相当的性能？
• RQ2 如何设计脉冲时间编码，以实现对连续输入值的高效、低频神经表征，从而模拟生物编码效率？
• RQ3 能否通过类似唤醒的机制实现对神经编码精度的动态控制？该机制对发放率和准确率有何影响？
• RQ4 自适应脉冲神经元的有效传递函数具有何种解析形式？其如何用于将 ANN 单元直接映射到 SNN 中？
• RQ5 在不牺牲分类准确率的前提下，脉冲发放率最多可降低多少？这种降低程度如何依赖于适应参数和网络设计？

主要发现

• AdSNNs 在 MNIST、CIFAR-10 和 ImageNet 基准测试中实现的分类准确率与或超过当前最先进的 SNNs，且平均脉冲数减少多达十倍。
• AdSNNs 的平均脉冲发放率降低至 1–5 Hz，与生物神经元的发放率一致，而此前的 SNNs 通常达到数百 Hz。
• 引入一种选择性提高特定输入发放率的唤醒机制，使平均脉冲发放率额外降低 50%，且未降低性能。
• 所推导的传递函数 $ f(S) $ 基于脉冲时间与适应动力学，可实现无需微调即可将 ANN 单元直接替换为自适应脉冲神经元，同时保持网络性能。
• 改变时间常数 $ au_ heta $ 会影响传递函数的形状，从而在编码精度与脉冲效率之间实现权衡，较长的 $ au_ heta $ 可减少所需脉冲数量。
• 在 CIFAR-100 和 LSVRC-2012 上，唤醒方法在初始短暂下降后提升了分类准确率，证明了动态精度控制的有效性。