[论文解读] Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal Learning of Deep Spiking Neural Network

Haowen Fang, Amar Shrestha+2 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Memory and Neural Computing参考文献 25被引用 9

一句话总结

该论文提出了一种用于深度脉冲神经网络（SNNs）的新颖训练框架，通过将神经元和突触建模为无限脉冲响应（IIR）滤波器来利用时间动态特性。通过联合优化突触权重和滤波器脉冲响应核，该方法在MNIST（99.46%）、NMNIST（99.39%）、DVS128（96.09%）以及TIDIGITS（99.13%）和澳大利亚手语（98.21%）等时间序列数据集上实现了最先进性能，优于现有的SNN和DNN基线模型。

ABSTRACT

The recent discovered spatial-temporal information processing capability of bio-inspired Spiking neural networks (SNN) has enabled some interesting models and applications. However designing large-scale and high-performance model is yet a challenge due to the lack of robust training algorithms. A bio-plausible SNN model with spatial-temporal property is a complex dynamic system. Each synapse and neuron behave as filters capable of preserving temporal information. As such neuron dynamics and filter effects are ignored in existing training algorithms, the SNN downgrades into a memoryless system and loses the ability of temporal signal processing. Furthermore, spike timing plays an important role in information representation, but conventional rate-based spike coding models only consider spike trains statistically, and discard information carried by its temporal structures. To address the above issues, and exploit the temporal dynamics of SNNs, we formulate SNN as a network of infinite impulse response (IIR) filters with neuron nonlinearity. We proposed a training algorithm that is capable to learn spatial-temporal patterns by searching for the optimal synapse filter kernels and weights. The proposed model and training algorithm are applied to construct associative memories and classifiers for synthetic and public datasets including MNIST, NMNIST, DVS 128 etc.; and their accuracy outperforms state-of-art approaches.

研究动机与目标

• 为解决大规模SNN缺乏鲁棒且生物可解释的训练算法的问题，以有效捕捉时间动态特性。
• 通过利用脉冲序列的时间结构，克服基于发放率编码的局限性，采用动态突触和神经元模型。
• 实现在深度SNN中端到端学习突触权重和滤波器脉冲响应核，以提升时空模式识别能力。
• 开发一种可推广的训练框架，适用于多种SNN架构和数据集，无需数据预处理或专用电路。

提出的方法

• 将SNN建模为无限脉冲响应（IIR）滤波器网络，以描述神经元膜电位动态和突触滤波效应。
• 神经元模型采用漏电积分-发放（LIF）形式，结合双指数突触，通过连续时间常微分方程（ODE）表示膜电位和突触电流。
• 推导出一种可微分的训练算法，同时优化突触权重和突触脉冲响应核，支持基于梯度的学习。
• 通过展开IIR滤波SNN的时间动态特性，支持通过时间反向传播（BPTT），实现端到端训练。
• 采用基于电流的LIF神经元进行脉冲编码，实时将连续输入信号转换为时间可变的脉冲序列。
• 该框架被应用于前馈和堆叠架构，用于在视觉和时间序列数据集上的分类任务。

实验结果

研究问题

• RQ1 将神经元和突触建模为IIR滤波器是否能提升深度SNN对时空模式的学习能力？
• RQ2 联合优化突触权重和滤波器脉冲响应核是否能带来比固定核方法更好的泛化能力和收敛性？
• RQ3 所提出的方法是否能在无需数据预处理的情况下，在MNIST、NMNIST、DVS128、TIDIGITS和澳大利亚手语等基准数据集上实现最先进性能？
• RQ4 所学习的突触滤波器核在时间记忆和性能方面与标准固定核相比如何？

主要发现

• 所提方法在MNIST上达到99.46%的准确率，优于最先进SNN，并与DNN基线模型相当或更优。
• 在动态的NMNIST数据集上，方法准确率达到99.39%，当训练突触滤波器核时，准确率提升0.15%。
• 在DVS128手势识别数据集上，训练滤波器核使准确率从94.14%提升至96.09%，且收敛速度更快。
• 在时间序列分类任务中，方法在TIDIGITS上达到99.13%的准确率，在澳大利亚手语数据集上达到98.21%，优于SNN和DNN基线。
• 所学习的突触脉冲响应核衰减速度慢于标准核，表明其具备更强的时间记忆能力，类似于LSTM门控机制。
• 该方法无需数据预处理、专用神经元电路或输出层WTA机制，可直接输入脉冲流。