[论文解读] Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation

Maximilian Baronig, R Ferrand+2 more|arXiv (Cornell University)|Aug 14, 2024

Advanced Memory and Neural Computing被引用 4

一句话总结

该论文通过为具有超阈值适应的自适应LIF神经元提出一种可证明稳定的离散化方法，推动了脉冲神经网络（SNNs）的发展，显著提升了在时空任务上的训练稳定性和性能。该方法在无需归一化的情况下，于事件驱动基准数据集（如SHD和BSD）上实现了最先进性能，同时对输入强度均值和脉冲频率的偏移表现出强鲁棒性，并在时间序列预测与生成任务中展现出优异的泛化能力。

ABSTRACT

Implementations of spiking neural networks on neuromorphic hardware promise orders of magnitude less power consumption than their non-spiking counterparts. The standard neuron model for spike-based computation on such systems has long been the leaky integrate-and-fire (LIF) neuron. A computationally light augmentation of the LIF neuron model with an adaptation mechanism has recently been shown to exhibit superior performance on spatio-temporal processing tasks. The root of the superiority of these so-called adaptive LIF neurons however is not well understood. In this article, we thoroughly analyze the dynamical, computational, and learning properties of adaptive LIF neurons and networks thereof. Our investigation reveals significant challenges related to stability and parameterization when employing the conventional Euler-Forward discretization for this class of models. We report a rigorous theoretical and empirical demonstration that these challenges can be effectively addressed by adopting an alternative discretization approach - the Symplectic Euler method, allowing to improve over state-of-the-art performances on common event-based benchmark datasets. Our further analysis of the computational properties of networks of adaptive LIF neurons shows that they are particularly well suited to exploit the spatio-temporal structure of input sequences without any normalization techniques.

研究动机与目标

• 为解决使用超阈值适应的自适应LIF神经元在训练递归SNN时的不稳定性问题，特别是针对此类神经元的训练稳定性挑战。
• 理解自适应LIF神经元相较于标准LIF神经元在时空处理中的动力学与计算优势。
• 证明自适应LIF网络在未见输入均值强度和脉冲频率偏移下仍能稳健泛化，无需归一化处理。
• 通过一种新颖且稳定的训练方法，在事件驱动数据集（SHD、BSD）上实现最先进性能。
• 展示自适应LIF网络在复杂时间序列预测与生成任务中的卓越表现，优于标准LIF和阈值自适应模型。

提出的方法

• 提出一种自适应LIF神经元的替代离散化方法，其稳定性可被严格证明优于标准的前向欧拉法。
• 采用连续时间形式的自适应LIF神经元，包含两个状态变量：膜电位 $u(t)$ 和适应电流 $w(t)$，其中 $w(t)$ 同时由脉冲和超阈值膜电位更新。
• 应用时间反向传播（BPTT）在时空任务上训练具有自适应LIF神经元的递归SNN。
• 在特征可视化中采用平滑正则化技术：$X^{k+1} \leftarrow \nu X^{k+1} + \gamma(g * X^{k+1})$，其中高斯核 $g(s)$ 的宽度 $\sigma$ 随迭代线性衰减。
• 在BSD数据集的归一化中，采用样本级归一化：$X^{k+1} \leftarrow X^{k+1} \cdot \mu_{\text{all}} / \mu_{k+1}$，其中 $\mu_{\text{all}}$ 为全局平均脉冲频率。
• 使用梯度裁剪值1.5，并对循环权重进行正交初始化，前馈权重则采用均匀分布初始化。

Figure 1 : The adLIF neuron with membrane potential oscillation and spike-frequency adaptation. a) Neurons in the brain have been classified into two excitability classes, integrators (class 1) and resonators (class 2). While resonators show membrane potential oscillations, integrators do not. b) Me

实验结果

研究问题

• RQ1 为何具有超阈值适应的自适应LIF神经元在时空任务中优于标准LIF和阈值自适应模型？
• RQ2 自适应LIF网络训练不稳定的根源是什么？是否可通过改进离散化方法加以解决？
• RQ3 在未在训练中出现的输入均值强度和脉冲频率偏移下，自适应LIF网络的鲁棒性达到何种程度？
• RQ4 自适应LIF网络是否能在无需批量归一化或类似技术的情况下，在SHD和BSD等事件驱动基准上实现最先进性能？
• RQ5 自适应LIF网络在复杂时间序列预测与生成任务中的泛化能力如何？

主要发现

• 所提出的自适应LIF神经元替代离散化方法在稳定性方面可被严格证明优于前向欧拉法，有效解决了训练中频繁出现的不稳定性问题。
• 该方法在SHD和BSD事件驱动基准数据集上实现了新的最先进性能，超越了以往所有SNN模型，甚至优于LSTM基线模型。
• 自适应LIF网络展现出强大的泛化能力，在输入均值强度和脉冲频率发生偏移时仍保持稳定，即使这些偏移在训练中未出现。
• 网络在复杂时间序列预测与生成任务中表现出高精度，其中超阈值适应机制有助于更有效地捕捉时空输入结构。
• 模型在无需批量归一化或时间批量归一化等技术的情况下实现高准确率，凸显其内在鲁棒性。
• 通过自适应平滑技术进行的特征可视化显示，网络能够学习到输入序列的有意义且结构化的表征，尤其在SHD和BSD数据集中表现显著。

Figure 2 : The adLIF neuron model shows frequency-selective resonating behavior. a) Voltage response (root mean squared membrane potential over $10$ seconds) of a LIF neuron in response to tonic spike input of different rates. b) Membrane potential response of an adLIF neuron with intrinsic frequenc