[论文解读] GLIF: A Unified Gated Leaky Integrate-and-Fire Neuron for Spiking Neural Networks

Xingting Yao, Fanrong Li+2 more|arXiv (Cornell University)|Oct 25, 2022

Advanced Memory and Neural Computing被引用 45

一句话总结

GLIF 通过可学习门控将多种生物特征统一到 LIF 神经元中，以扩展神经元动态并提升尖峰神经网络的性能，具备逐通道参数学习与端到端训练。

ABSTRACT

Spiking Neural Networks (SNNs) have been studied over decades to incorporate their biological plausibility and leverage their promising energy efficiency. Throughout existing SNNs, the leaky integrate-and-fire (LIF) model is commonly adopted to formulate the spiking neuron and evolves into numerous variants with different biological features. However, most LIF-based neurons support only single biological feature in different neuronal behaviors, limiting their expressiveness and neuronal dynamic diversity. In this paper, we propose GLIF, a unified spiking neuron, to fuse different bio-features in different neuronal behaviors, enlarging the representation space of spiking neurons. In GLIF, gating factors, which are exploited to determine the proportion of the fused bio-features, are learnable during training. Combining all learnable membrane-related parameters, our method can make spiking neurons different and constantly changing, thus increasing the heterogeneity and adaptivity of spiking neurons. Extensive experiments on a variety of datasets demonstrate that our method obtains superior performance compared with other SNNs by simply changing their neuronal formulations to GLIF. In particular, we train a spiking ResNet-19 with GLIF and achieve $77.35\%$ top-1 accuracy with six time steps on CIFAR-100, which has advanced the state-of-the-art. Codes are available at \url{https://github.com/Ikarosy/Gated-LIF}.

研究动机与目标

• 通过在 LIF 行为中融合多种生物特征来增加尖峰神经元的表征多样性。
• 引入可学习的门控因子，以在膜泄漏、累积和尖峰起始之间实现双生物特征的平衡。
• 实现通道维参数学习，在训练期间提升神经元异质性与自适应能力。
• 在静态数据集和神经形态数据集上展示基于 GLIF 的 SNN 的最先进性能。
• 提供消融研究以验证门控、通道维参数化和特征融合的贡献。

提出的方法

• 提出 GLIF，一种统一的尖峰神经元，通过门控单元对泄漏、累积和尖峰起始进行双生物特征融合。
• 将 L(t,l) 定义为通过 G_alpha 进行线性衰减与指数衰减的融合的膜泄漏。
• 将 I(t,l) 定义为通过 G_beta 在灵活/规范化编码模式下的积分累积。
• 将 F(t,l) 定义为通过 G_gamma 控制的软/硬复位融合实现尖峰起始。
• 使基元和门控因子具备可学习性，采用通道维参数共享方案。
• 使用反向传播通过时间和 Heaviside 激活的代理梯度进行端到端训练 GLIF-SNN。

实验结果

研究问题

• RQ1 通过门控单元在 LIF 模型中融合双生物特征，是否能提升 SNN 的表达能力和性能？
• RQ2 学习门控因子和通道维膜参数是否能提升数据集间的异质性与准确性？
• RQ3 GLIF 与单纯 LIF 变体及其他参数化尖峰神经元在静态数据和神经形态数据上的表现有何不同？
• RQ4 通道维共享与层级共享对模型性能有何影响？
• RQ5 可学习的门控因子是否对实现所报道的增益至关重要？

主要发现

• 在 CIFAR-10/100 的标准架构和有限时间步长下，GLIF 超越了最新方法（例如在 CIFAR-100 的 ResNet-19 的 6 步时达到 Top-1 77.35%），表现出色。
• 在 ImageNet 上，GLIF 提升了 ResNet-34 / MS-ResNet-18 基线（例如 GLIF-ResNet-34 在 6 步时的验证准确率为 69.09%，高于 STBP-tdBN）。
• 在 CIFAR10-DVS 上，GLIF 使用 16 步的 7B-wideNet 达到 78.10% 的准确率，优于 SEW+PLIF 及相关方法。
• 消融结果显示 GLIF 的门控因子和通道维参数化显著超越所有单纯 LIF 变体和分层共享。
• 可学习的门控因子（相对于静态）和通道维共享在多次实验中稳定提升性能。