[论文解读] Exploiting High Performance Spiking Neural Networks with Efficient Spiking Patterns

Guobin Shen, Dongcheng Zhao+1 more|arXiv (Cornell University)|Jan 29, 2023

Advanced Memory and Neural Computing被引用 6

一句话总结

本文提出了一种新型脉冲神经元模型——漏电整合与放电或爆发（Leaky Integrate and Fire or Burst, LIFB）神经元，该模型可动态在静息、常规放电和爆发放电三种模式间切换，从而增强表征能力。通过自适应调节爆发强度并实现无损解耦为标准LIF神经元，LIFB在静态数据集和神经形态数据集上均实现了最先进的准确率，同时显著降低了延迟和能耗，优于现有的SNN和二值神经元模型。

ABSTRACT

Spiking Neural Networks (SNNs) use discrete spike sequences to transmit information, which significantly mimics the information transmission of the brain. Although this binarized form of representation dramatically enhances the energy efficiency and robustness of SNNs, it also leaves a large gap between the performance of SNNs and Artificial Neural Networks based on real values. There are many different spike patterns in the brain, and the dynamic synergy of these spike patterns greatly enriches the representation capability. Inspired by spike patterns in biological neurons, this paper introduces the dynamic Burst pattern and designs the Leaky Integrate and Fire or Burst (LIFB) neuron that can make a trade-off between short-time performance and dynamic temporal performance from the perspective of network information capacity. LIFB neuron exhibits three modes, resting, Regular spike, and Burst spike. The burst density of the neuron can be adaptively adjusted, which significantly enriches the characterization capability. We also propose a decoupling method that can losslessly decouple LIFB neurons into equivalent LIF neurons, which demonstrates that LIFB neurons can be efficiently implemented on neuromorphic hardware. We conducted experiments on the static datasets CIFAR10, CIFAR100, and ImageNet, which showed that we greatly improved the performance of the SNNs while significantly reducing the network latency. We also conducted experiments on neuromorphic datasets DVS-CIFAR10 and NCALTECH101 and showed that we achieved state-of-the-art with a small network structure.

研究动机与目标

• 通过增强SNN的表征能力，弥合SNN与人工神经网络（ANNs）之间的性能差距。
• 通过引入生物上合理的放电模式，在不增加计算成本的前提下提升SNN性能。
• 设计一种支持动态爆发强度自适应的神经元模型，以实现更丰富的时序动态。
• 通过将LIFB无损解耦为标准LIF神经元，实现先进SNN在硬件上的高效部署。
• 在静态和神经形态数据集上实现最先进的性能，且模拟步数极少。

提出的方法

• 提出漏电整合与放电或爆发（LIFB）神经元，其根据输入电流和自适应阈值动态，在静息、常规放电和爆发放电三种模式下运行。
• 引入可学习的爆发强度，通过可微分参数使神经元能够根据输入数据自适应调整爆发强度。
• 开发一种解耦方法，将每个LIFB神经元转换为两个具有不同阈值的等效LIF神经元，从而实现高效的神经形态硬件映射。
• 采用替代梯度反向传播方法，实现SNN中LIFB神经元的端到端训练，即使在非可微分的放电事件下也能保持梯度流动。
• 通过损失景观分析比较SNN中LIFB与LIF神经元的泛化行为，重点关注局部极小值的平坦度。
• 通过消融研究和可视化技术分析神经活动模式及各层中的爆发分布。

实验结果

研究问题

• RQ1 一种支持动态爆发的脉冲神经元模型是否能提升SNN的表征能力和性能？
• RQ2 自适应爆发强度学习是否相比固定或非自适应爆发模式能带来更好的泛化能力和准确率？
• RQ3 LIFB神经元带来的性能提升是否源于建模能力的改进，而非计算成本的增加？
• RQ4 与PosNeg等其他三值神经元模型相比，LIFB神经元在准确率和效率方面表现如何？
• RQ5 损失景观分析表明，LIFB神经元在多大程度上增强了泛化能力？

主要发现

• 在CIFAR10上，基于LIFB的SEW-ResNet18仅用1次模拟步即达到94.53%的top-1准确率，显著降低了延迟。
• LIFB模型在DVS-CIFAR10（95.15% top-1准确率）和NCALTECH101上实现了SOTA性能，且网络结构较小。
• 消融研究显示，可学习的爆发强度使VGG16在CIFAR10上的准确率达到94.53%，优于固定强度基线（例如，κ=1.5时为94.17%）。
• LIFB神经元在CIFAR10上使用6次模拟步达到95.36%的top-1准确率，超过从零开始训练的等效解耦LIF模型（95.02%）。
• 损失景观分析表明，LIFB神经元收敛于损失更低、更平坦的局部极小值，表明其具有更强的泛化能力。
• 可视化结果证实，爆发放电仅发生在一小部分关键神经元中，支持爆发模式在生物学上的合理性及其功能重要性。