[论文解读] Leaky Integrate-and-Fire Spiking Neuron with Learnable Membrane Time Parameter

Wei Mark Fang|arXiv (Cornell University)|Jul 11, 2020

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出参数化漏电脉冲发放（PLIF）脉冲神经元，其中膜时间常数 $\tau$ 为可学习参数而非固定超参数。通过在训练过程中优化 $\tau$，采用 PLIF 神经元的 SNN 在多个数据集上的图像分类任务中性能得到提升，优于使用固定 $\tau$ 的传统 SNN。

ABSTRACT

The Spiking Neural Networks (SNNs) have attracted research interest due to its temporal information processing capability, low power consumption, and high biological plausibility. The Leaky Integrate-and-Fire (LIF) neuron model is one of the most popular spiking neuron models used in SNNs for it achieves a balance between computing cost and biological plausibility. The most important parameter of a LIF neuron is the membrane time constant $ au$, which determines the decay rate of membrane potential. The value of $ au$ plays a crucial role in SNNs containing LIF neurons. However, $ au$ is usually treated as a hyper-parameter, which is preset before training SNNs and adjusted manually. In this article, we propose a novel spiking neuron, namely parametric Leaky Integrate-and-Fire (PLIF) neuron, whose $ au$ is a learnable parameter rather than an empirical hyper-parameter. We evaluate the performance of SNNs with PLIF neurons for image classification tasks on both traditional static MNIST, Fashion-MNIST, CIFAR-10 datasets, and neuromorphic N-MNIST, CIFAR10-DVS datasets. The experiment results show that SNNs augmented by PLIF neurons outperform those with conventional spiking neurons.

研究动机与目标

• 解决漏电积分发放（LIF）神经元中膜时间常数 $\tau$ 固定所带来的局限性，后者通常被设定为超参数。
• 通过将 $\tau$ 设为可训练参数，提升脉冲神经网络（SNN）的表征能力与性能。
• 评估可学习 $\tau$ 是否能在包括静态数据与类脑数据在内的多种数据集上提升 SNN 性能。

提出的方法

• 提出一种新型脉冲神经元模型——参数化漏电积分发放（PLIF）神经元，其中膜时间常数 $\tau$ 为可微分的可学习参数。
• 通过在反向传播过程中更新 $\tau$，将 PLIF 神经元集成到 SNN 中，采用基于梯度的优化方法。
• 使用标准 LIF 方程描述膜电位动态，但将 $\tau$ 视为训练过程中需优化的参数。
• 使用标准的时间反向传播（BPTT）或替代梯度方法训练 SNN，通过标准优化步骤更新 $\tau$。
• 在静态数据集（MNIST、Fashion-MNIST、CIFAR-10）和类脑数据集（N-MNIST、CIFAR10-DVS）上评估模型，以评估泛化能力。

实验结果

研究问题

• RQ1 可学习的膜时间常数 $\tau$ 是否能提升脉冲神经网络在图像分类任务中的性能？
• RQ2 在不同数据集上，采用可学习 $\tau$ 的 SNN 与使用固定 $\tau$ 的 SNN 性能相比如何？
• RQ3 PLIF 神经元在静态数据集与类脑数据集上是否均具有良好的泛化能力？

主要发现

• 在所有评估数据集（包括 MNIST、Fashion-MNIST、CIFAR-10、N-MNIST 和 CIFAR10-DVS）上，采用 PLIF 神经元的 SNN 均优于传统 SNN（固定 $\tau$）。
• 可学习的 $\tau$ 参数使网络能够更好地适应数据分布与时间动态，从而提升分类准确率。
• 所提出的 PLIF 神经元在相同架构与训练协议的 SNN 模型中，在测试基准上达到最先进性能。
• 在静态数据集与类脑数据集上，性能提升均具有一致性，表明可学习 $\tau$ 机制具有鲁棒性与良好泛化能力。