[论文解读] MT-SNN: Enhance Spiking Neural Network with Multiple Thresholds

Xiaoting Wang, Yanxiang Zhang|arXiv (Cornell University)|Mar 20, 2023

Advanced Memory and Neural Computing被引用 8

一句话总结

MT-SNN 引入多阈值（MT）机制到基于 PLIF 的脉冲神经网络，在相同时间步数下提高准确率，并在 CIFAR-10/100 与 DVS-CIFAR10 上以更少的步数实现高精度。

ABSTRACT

Spiking neural networks (SNNs) present a promising energy efficient alternative to traditional Artificial Neural Networks (ANNs) due to their multiplication-free operations enabled by binarized intermediate activations. However, this binarization leads to precision loss, hindering the SNN performance. In this paper, we introduce Multiple Threshold (MT) approaches to significantly enhance SNN accuracy by mitigating precision loss. We propose two distinct modes for MT implementation, depending on the membrane update rule: parallel mode and cascade mode. MT-SNN models can be efficiently trained on standard hardwares like GPUs and TPUs, while retaining the multiplication-free advantage crucial for deployment on neuromorphic devices. Our extensive experiments on CIFAR10, CIFAR100, ImageNet, and DVS-CIFAR10 datasets demonstrate that both MT modes substantially improve the performance of single-threshold SNNs, achieving higher accuracy with fewer time steps and comparable energy consumption. Moreover, MT-SNNs outperform state-of-the-art (SOTA) results. Notably, with MT, a Parametric-Leaky-Integrate-Fire (PLIF) based ResNet-34 architecture reaches 72.17\% accuracy on ImageNet with a single time step, surpassing the previous SOTA by 2.75\% despite using 4 steps.

研究动机与目标

• 在将浮点值替换为 0/1 脉冲的 SNN 中，动机信息在脉冲激活中的损失。
• 提出一个多阈值（MT）增广，在脉冲触发时部分保留精度。
• 在基于 VGG 与 ResNet 的 SNN 上，展示 MT 在静态数据集（CIFAR-10/100）和神经拟态数据集（DVS-CIFAR10）上的有效性。
• 显示 MT 在相同步骤下获得更高准确度，并且在更少时间步数下达到或超过 ANN 级别性能。

提出的方法

• 将 MT 作为对 PLIF 神经元点火阶段的增广：计算多阈值脉冲阈值：S[t]Δi = Θ(H[t] - Vth - Δi) ，i = 1..n。
• 通过 S[t]sum = S[t] + Σi S[t]Δi 将多条脉冲流合并并通过卷积传播为 Conv(S[t]sum) = Conv(S[t]) + Σi Conv(S[t]Δi)，以保持乘法为零的计算。
• 对 PLIF 神经元使用可学习的膜时间常数 τ = 1 + exp(-a) 和用于训练的代理梯度（surrogate gradient）。
• 使用标准反向传播和代理梯度训练 CIFAR-10/100 与 DVS-CIFAR10 上的 MT-VGG（VGG-8/9）与 MT-ResNet-20 等体系结构。

实验结果

研究问题

• RQ1 在固定时间步数下，MT 是否相较单阈值（ST）SNN 提高分类准确率？
• RQ2 MT 是否能够在更少时间步数下达到可比较或更高的准确率，从而降低训练/推理时延？
• RQ3 MT 对静态图像数据集（CIFAR-10/100）与神经拟态数据集（DVS-CIFAR10）的性能有何影响？
• RQ4 哪些网络组件（卷积层 vs 全连接层）最受 MT 的益处？

主要发现

• 在 CIFAR-10 与 CIFAR-100 上，对所有步数 1–5，MT 在所有测试架构（VGG-8/9 和 ResNet-20）上都提高了 ST 的准确率。
• MT 启用的 VGG-9 在 1 步时达到 93.47%（CIFAR-10）和 73.67%（CIFAR-100），在 5 步时达到 94.74% / 75.29%（CIFAR-10 / CIFAR-100），超越了若干先前的 SNN 结果。
• MT-VGG-9 与 MT-ResNet-20 在比 ST 基线更少的时间步内达到或超过最先进结果；MT-VGG-9 在 2 步时达到 94.71%（CIFAR-10）和 74.79%（CIFAR-100）。
• 在 DVS-CIFAR10 上，MT-VGG-12 的准确率大约为 76.3%，在可比步数下超越了若干先前方法。
• 消融研究表明，完成连接层上的 MT 可在早期步数带来增益，使用正负差值的混合并配以合适的幅度可获得最佳性能。