[论文解读] Hoyer regularizer is all you need for ultra low-latency spiking neural networks

Gourav Datta, Zeyu Liu+1 more|arXiv (Cornell University)|Dec 20, 2022

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出了一种新型的一次时间步脉冲神经网络（SNN）训练框架，通过使用Hoyer正则化器动态训练阈值，实现高精度、超低延迟的推理。通过将每一层的阈值设为截断激活图的Hoyer极值，并利用Hoyer正则化器通过梯度下降进行优化，该方法提升了权重更新频率，并将膜电位从阈值处推开，从而改善收敛性和鲁棒性，同时实现了最先进的精度-FLOPs权衡。

ABSTRACT

Spiking Neural networks (SNN) have emerged as an attractive spatio-temporal computing paradigm for a wide range of low-power vision tasks. However, state-of-the-art (SOTA) SNN models either incur multiple time steps which hinder their deployment in real-time use cases or increase the training complexity significantly. To mitigate this concern, we present a training framework (from scratch) for one-time-step SNNs that uses a novel variant of the recently proposed Hoyer regularizer. We estimate the threshold of each SNN layer as the Hoyer extremum of a clipped version of its activation map, where the clipping threshold is trained using gradient descent with our Hoyer regularizer. This approach not only downscales the value of the trainable threshold, thereby emitting a large number of spikes for weight update with a limited number of iterations (due to only one time step) but also shifts the membrane potential values away from the threshold, thereby mitigating the effect of noise that can degrade the SNN accuracy. Our approach outperforms existing spiking, binary, and adder neural networks in terms of the accuracy-FLOPs trade-off for complex image recognition tasks. Downstream experiments on object detection also demonstrate the efficacy of our approach.

研究动机与目标

• 实现无需依赖多时间步推理或预训练的超低延迟脉冲神经网络（SNN）。
• 解决由于稀疏脉冲活动导致权重更新机会有限，从而难以训练准确的一次时间步SNN的挑战。
• 通过将膜电位分布从阈值处推开，改善收敛性和鲁棒性，降低对噪声的敏感性。
• 与现有SNN、二值神经网络（BNN）和加法神经网络（AddNN）相比，实现更优的精度-FLOPs权衡。

提出的方法

• 每个SNN层的阈值通过其膜电位张量的截断版本的Hoyer极值计算得出。
• 截断阈值是可微分的，并通过新型Hoyer正则化器使用梯度下降进行训练，以促进稀疏性和稳定性。
• 将Hoyer正则化器应用于截断的膜电位张量，以鼓励激活分布的均衡性，减少在阈值附近的聚集。
• Hoyer脉冲层可动态地为每层和每个输入设置阈值，实现自适应、输入相关的脉冲行为。
• 该框架从零开始训练SNN，无需任何DNN预训练或迭代步长减少，确保训练开销极低。
• 该方法实现了极高的稀疏性（22%脉冲活动），并支持2–6比特定点累加，显著降低能耗。

实验结果

研究问题

• RQ1 一次时间步SNN是否能在不使用多时间步推理或预训练的情况下实现SOTA精度？
• RQ2 如何有效训练SNN中的阈值，以在单个时间步内最大化权重更新？
• RQ3 Hoyer正则化器是否能通过将膜电位分布从阈值处推开，改善收敛性和鲁棒性？
• RQ4 与SOTA BNN和AddNN相比，一次时间步SNN的能量和FLOP效率如何？
• RQ5 所提出的方法在权重量化下是否能保持高精度，同时维持低脉冲活动？

主要发现

• 所提方法在基于VGG16的SNN上于CIFAR-10数据集上实现了93.44%的top-1精度，优于SOTA的一次时间步SNN，且与BNN和AddNN的性能相当或更优。
• 与SOTA BNN和AddNN相比，FLOPs减少5.5倍，同时保持相似或更高的精度。
• 与标准DNN相比，能耗降低24.34–34.21倍，6比特量化模型仅出现0.02%的精度下降。
• 2比特量化SNN在CIFAR-10上保持92.34%的精度，脉冲活动仅为22%，在精度和能效方面均优于双极BNN。
• 在ImageNet上，该方法实现了68.00%的top-1精度，计算能耗为14.28 J，精度超越SOTA BNN和AddNN，且能耗低于部分AddNN的一半。
• 训练时间相比SOTA一次时间步SNN减少约19倍，接近非脉冲DNN的训练速度。