[论文解读] A Spike in Performance: Training Hybrid-Spiking Neural Networks with Quantized Activation Functions

Aaron R. Voelker, Daniel Rasmussen+1 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Memory and Neural Computing参考文献 41被引用 6

一句话总结

本文提出了一种新型训练方法，用于混合脉冲神经网络（hSNNs），通过将脉冲神经元建模为具有时间扩散量化误差的一bit量化器，实现从非脉冲（ANN）到脉冲（SNN）模式的平滑插值。该方法在sMNIST和psMNIST数据集上实现了最先进（SOTA）的准确率，同时将平均活动降低至3.74比特，显著位数减少至1.26，从而在不损失性能的前提下实现了显著的能效提升。

ABSTRACT

The machine learning community has become increasingly interested in the energy efficiency of neural networks. The Spiking Neural Network (SNN) is a promising approach to energy-efficient computing, since its activation levels are quantized into temporally sparse, one-bit values (i.e., "spike" events), which additionally converts the sum over weight-activity products into a simple addition of weights (one weight for each spike). However, the goal of maintaining state-of-the-art (SotA) accuracy when converting a non-spiking network into an SNN has remained an elusive challenge, primarily due to spikes having only a single bit of precision. Adopting tools from signal processing, we cast neural activation functions as quantizers with temporally-diffused error, and then train networks while smoothly interpolating between the non-spiking and spiking regimes. We apply this technique to the Legendre Memory Unit (LMU) to obtain the first known example of a hybrid SNN outperforming SotA recurrent architectures -- including the LSTM, GRU, and NRU -- in accuracy, while reducing activities to at most 3.74 bits on average with 1.26 significant bits multiplying each weight. We discuss how these methods can significantly improve the energy efficiency of neural networks.

研究动机与目标

• 为解决将非脉冲网络转换为脉冲神经网络（SNN）时面临的挑战，即由于一比特脉冲精度导致的性能下降。
• 开发一种系统化的方法用于训练混合-SNN，通过在ANN和SNN模式之间平滑插值，实现准确率与能效之间的平衡。
• 通过将激活量化为稀疏的一比特脉冲，同时在时间上约束量化误差，实现能效高效的神经网络推理。
• 证明混合网络可在准确率上超越标准ANN和SNN，同时实现更优的能效表现。
• 提供一种可推广的框架，适用于多种架构，包括对误差累积敏感的递归网络（如勒让德记忆单元，LMU）。

提出的方法

• 该方法将脉冲神经元建模为一比特量化器，将量化误差在后续时间步中扩散，类似于信号处理中的Floyd-Steinberg抖动。
• 在训练过程中引入一种连续且可微分的插值机制，在非脉冲（32比特）与脉冲（1比特）激活模式之间平滑过渡，使网络能够学习最优量化行为。
• 采用具有时间分布误差模型的量化激活函数，确保量化误差有界，并支持通过量化过程的反向传播。
• 该框架被应用于勒让德记忆单元（LMU），其低通滤波器动力学和对零状态的偏好有助于实现混合网络的稳定训练。
• 该方法可推广至任意位宽，包括分数位表示，并支持正负脉冲输出。
• 训练采用渐进增加脉冲行为的调度策略，使网络在精度降低的同时仍能保持准确率。

实验结果

研究问题

• RQ1 能否训练出一种混合脉冲神经网络，在准确率上超越标准非脉冲网络和脉冲网络，同时实现更优的能效？
• RQ2 如何在训练过程中有界且时间扩散地处理脉冲神经网络中的量化误差，以保持性能？
• RQ3 在非脉冲与脉冲模式之间插值在多大程度上能改善准确率与能效之间的权衡？
• RQ4 所提出的方法能否有效应用于对时间误差累积敏感的递归架构（如LMU）？
• RQ5 混合-SNN的实际位宽和显著位数指标是多少？与标准ANN和SNN相比，其在硬件能效节省方面表现如何？

主要发现

• 使用所提方法训练的混合-SNN在sMNIST数据集上实现了最先进准确率，优于所有其他SNN和非脉冲RNN，仅在原始LMU之外。
• 在更具挑战性的psMNIST任务上，混合-SNN的准确率高于除原始LMU外的所有非脉冲RNN，表明在精度降低的情况下仍具有强大性能。
• 每个神经元的平均活动降低至3.74比特，每权重仅1.26个显著位，表明在硬件上具有显著的能效节省潜力。
• 与标准LMU实现相比，活动精度降低了26比特，测试准确率仅下降0.32%，证明了显著的能效优势。
• 该框架成功在时间上约束了量化误差，并实现了混合网络的稳定训练，即使在固定LMU矩阵的情况下也成立。
• 该方法可推广至其他架构，支持多比特和分数位量化，从而实现准确率与能效之间的灵活权衡。