[论文解读] Classifying Images with Few Spikes per Neuron

Christoph Stöckl, Wolfgang Maass|arXiv (Cornell University)|Jan 31, 2020

Advanced Memory and Neural Computing参考文献 8被引用 6

一句话总结

本文提出FS-conversion，一种新颖的方法，可将基于ReLU的前馈卷积神经网络（CNN）转换为脉冲神经网络（SNN），显著降低延迟并提高吞吐量。通过使用具有指数衰减放电阈值的脉冲神经元模型，而非漏电膜电位模型，该方法在log N时间步内实现信息论最优性能，在ImageNet和CIFAR10数据集上匹配原始人工神经网络（ANN）的准确率，同时相比标准的速率编码转换方法，显著减少了脉冲数量和延迟。

ABSTRACT

Spiking neural networks (SNNs) promise to provide AI implementations with a drastically reduced energy budget in comparison with standard artificial neural networks (ANNs). Besides recurrent SNN modules that can be efficiently trained on-chip, many AI applications require the use of feedforward convolutional neural networks (CNNs) as preprocessors for visual or other sensory inputs. The standard solution has been to train a CNN consisting of non-spiking neurons, typically using the rectified linear ReLU function as activation function, and then to translate these CNNs with ReLU neurons via rate coding into SNNs. However this produces SNNs with long latency and small throughput, since the number of spikes that a neuron has to emit is on the order of the number N of output values of the corresponding CNN gate which subsequent layers need to be able to distinguish. We introduce a new ANN-SNN conversion - called FS-conversion - that needs only log N many time steps for that, which is optimal from the perspective of information theory. This can be achieved with a simple variation of the spiking neuron model that has no membrane leak but an exponentially decreasing firing threshold. We show that for the classification of images from ImageNet and CIFAR10 this new conversion reduces latency and drastically increases the throughput compared with rate-based conversion, while achieving almost the same classification performance as the ANN.

研究动机与目标

• 解决标准速率编码的ANN-to-SNN转换方法在前馈CNN中存在高延迟和低吞吐量的问题。
• 减少SNN中实现准确图像分类所需的每神经元脉冲数量。
• 开发一种脉冲神经元模型，实现从ANN到SNN的信息论最优转换。
• 在最小化脉冲数量和延迟的同时，实现与原始ANN相当的分类性能。

提出的方法

• 提出一种改进的脉冲神经元模型，无膜电位漏电，但具有指数衰减的放电阈值。
• 利用该神经元模型实现SNN转换，仅需log N时间步即可完成N个输出类别的推理，达到信息论下限。
• 在将基于ReLU的CNN转换为SNN的过程中，用该新神经元模型替代标准的漏电积分-放电神经元。
• 通过速率编码完成ANN-to-SNN转换，但引入新的阈值动态机制，大幅减少所需脉冲数量。
• 以常规方式训练原始ReLU CNN，然后使用FS-conversion方法将其转换为SNN，无需重新训练。
• 在ImageNet和CIFAR10上使用标准基准验证该方法，比较准确率、延迟和吞吐量。

实验结果

研究问题

• RQ1 能否从预训练的ReLU CNN构建SNN，其延迟显著低于标准速率编码转换方法？
• RQ2 是否可能在SNN中实现几乎相同的分类准确率，同时每神经元使用的脉冲数量远少于标准速率编码？
• RQ3 具有指数衰减阈值的脉冲神经元模型是否能实现信息论最优的SNN转换？
• RQ4 在标准图像分类数据集上，所提出的FS-conversion方法与现有速率编码转换技术相比，在吞吐量和延迟方面表现如何？

主要发现

• FS-conversion将SNN推理所需的时间步数减少至log N，实现信息论最优性。
• 该方法在ImageNet和CIFAR10上的分类准确率与原始ReLU-ANN几乎完全一致。
• 相比标准速率编码转换（需O(N)时间步），延迟显著降低。
• 由于每神经元脉冲数更少且推理窗口更短，吞吐量显著提升。
• 所提出的具有指数衰减阈值的神经元模型可实现高效且准确的SNN转换，且无需重新训练原始网络。
• 该方法在延迟和吞吐量方面均优于标准速率编码转换，同时保持了高分类性能。