[论文解读] Efficient and Accurate Conversion of Spiking Neural Network with Burst Spikes

Yang Li, Yi Zeng|arXiv (Cornell University)|Apr 28, 2022

Advanced Memory and Neural Computing被引用 8

一句话总结

本文提出了一种新颖的转换方法，用于将人工神经网络（ANNs）转换为具有爆发脉冲和侧向抑制池化（LIPooling）的脉冲神经网络（SNNs），在少于100个仿真时间步内实现了最先进（SOTA）的准确率。该方法将性能退化和能耗降低至传统方法的10%以下，实现了在神经形态硬件上的高效、低延迟SNN推理。

ABSTRACT

Spiking neural network (SNN), as a brain-inspired energy-efficient neural network, has attracted the interest of researchers. While the training of spiking neural networks is still an open problem. One effective way is to map the weight of trained ANN to SNN to achieve high reasoning ability. However, the converted spiking neural network often suffers from performance degradation and a considerable time delay. To speed up the inference process and obtain higher accuracy, we theoretically analyze the errors in the conversion process from three perspectives: the differences between IF and ReLU, time dimension, and pooling operation. We propose a neuron model for releasing burst spikes, a cheap but highly efficient method to solve residual information. In addition, Lateral Inhibition Pooling (LIPooling) is proposed to solve the inaccuracy problem caused by MaxPooling in the conversion process. Experimental results on CIFAR and ImageNet demonstrate that our algorithm is efficient and accurate. For example, our method can ensure nearly lossless conversion of SNN and only use about 1/10 (less than 100) simulation time under 0.693$ imes$ energy consumption of the typical method. Our code is available at https://github.com/Brain-Inspired-Cognitive-Engine/Conversion_Burst.

研究动机与目标

• 为解决在仿真时间受限条件下ANN到SNN转换中的性能退化和长推理时间问题。
• 分析并缓解由ReLU与IF神经元差异、时间动态特性以及池化操作差异引起的转换误差。
• 通过最小化仿真时间与能耗，实现在神经形态硬件上的高效、高精度SNN推理。
• 用一种生物启发的侧向抑制池化（LIPooling）机制替代最大池化（MaxPooling），以提升信息传递效率。
• 在不修改原始ANN训练过程或增加额外层的情况下，实现近乎无损的SNN转换。

提出的方法

• 提出一种爆发脉冲神经元模型，可在时钟驱动的SNN中将残留信息以高频脉冲爆发的形式释放，从而更准确地逼近ANN激活的发放率。
• 引入侧向抑制池化（LIPooling），通过模拟神经元间的侧向抑制机制，在SNN中比MaxPooling更精确地保留最大激活值。
• 从三个维度分析转换误差：ReLU与IF神经元的差异、时间积分效应以及池化不准确性。
• 将该方法应用于VGG16和ResNet20等标准网络，无需架构修改，仅通过预训练ANN的权重映射实现转换。
• 采用理论框架量化并最小化转换过程中的残留信息损失，尤其关注早期时间步的损失。
• 基于平均发放率和MAC能量成本进行能耗估算，评估在神经形态平台上的硬件效率。

实验结果

研究问题

• RQ1 ReLU与IF神经元之间的差异在多大程度上导致了ANN到SNN转换中的性能退化？
• RQ2 时间积分与池化操作在SNN转换过程中在多大程度上扭曲了信息？
• RQ3 爆发脉冲释放是否能有效恢复残留信息，并在短仿真窗口内提升发放率精度？
• RQ4 侧向抑制池化（LIPooling）是否能在保留SNN中激活幅度方面优于MaxPooling？
• RQ5 在时间步受限条件下，SNN转换中推理速度、准确率与能效之间的权衡关系如何？

主要发现

• 在CIFAR-10数据集上，使用ResNet20的该方法仅用32个时间步即达到96.59%的准确率，优于先前的SOTA方法。
• 在CIFAR-100数据集上，使用VGG16的该方法在64个时间步内达到80.72%的准确率，与原始ANN相比性能损失小于1%。
• 在ImageNet数据集上，使用VGG16的该方法在128个时间步内实现74.26%的top-1准确率，优于RMP及其他SOTA转换方法。
• 转换后SNN的能耗仅为原始ANN的69.3%，展现出极高的能效。
• 该方法将仿真时间减少至典型方法的1/10以下，同时保持近乎无损的准确率，仅需100个或更少的时间步。
• LIPooling通过在误差阈值e < 2/T下正确识别并传播最大激活，正向激活正确率超过95%，显著提升了准确率，优于MaxPooling。