[论文解读] Finite Meta-Dynamic Neurons in Spiking Neural Networks for Spatio-temporal Learning

Xiang Cheng, Tielin Zhang+2 more|arXiv (Cornell University)|Oct 7, 2020

Advanced Memory and Neural Computing参考文献 39被引用 10

一句话总结

该论文提出在脉冲神经网络（SNNs）中采用有限元动态神经元（MDNs），通过将一阶和二阶膜电位动态整合到空间和时间元神经元类型中，以增强时空学习能力。MDNs在包括MNIST、Fashion-MNIST、TIDigits、TIMIT和N-MNIST在内的多种数据集上，实现了与最先进SNN相当或更优的准确率，并展现出更好的泛化能力，且采用生物上合理的学习规则（如STDP）。

ABSTRACT

Spiking Neural Networks (SNNs) have incorporated more biologically-plausible structures and learning principles, hence are playing critical roles in bridging the gap between artificial and natural neural networks. The spikes are the sparse signals describing the above-threshold event-based firing and under-threshold dynamic computation of membrane potentials, which give us an alternative uniformed and efficient way on both information representation and computation. Inspired from the biological network, where a finite number of meta neurons integrated together for various of cognitive functions, we proposed and constructed Meta-Dynamic Neurons (MDN) to improve SNNs for a better network generalization during spatio-temporal learning. The MDNs are designed with basic neuronal dynamics containing 1st-order and 2nd-order dynamics of membrane potentials, including the spatial and temporal meta types supported by some hyper-parameters. The MDNs generated from a spatial (MNIST) and a temporal (TIDigits) datasets first, and then extended to various other different spatio-temporal tasks (including Fashion-MNIST, NETtalk, Cifar-10, TIMIT and N-MNIST). The comparable accuracy was reached compared to other SOTA SNN algorithms, and a better generalization was also achieved by SNNs using MDNs than that without using MDNs.

研究动机与目标

• 为解决深度神经网络（DNNs）存在的可解释性差、缺乏增量学习能力以及非生物学习规则等局限性。
• 通过整合受自然神经系统的结构多样性启发的生物上合理的神经元动态，改进脉冲神经网络（SNNs）。
• 通过引入一组具有不同动态行为的有限元神经元，提升网络在时空学习任务中的泛化能力和效率。
• 开发一种在神经元和网络两个层面均保持复杂性平衡的神经元模型，以模拟大脑高效的多类型处理机制。

提出的方法

• 提出具有第一阶和第二阶膜电位动态的元动态神经元（MDNs），实现对空间信息（如MNIST）和时间信息（如TIDigits）的处理。
• 设计具有第一阶动态的空间MDNs（SMDNs），用于强空间表征；设计具有第二阶动态的时间MDNs（TMDNs），用于时间序列建模。
• 使用生物上合理的学习规则（如脉冲时间依赖可塑性，STDP）训练MDNs，通过超参数调节其动态行为。
• 将自学习的MDNs应用于多种时空任务，包括Fashion-MNIST、NETtalk、CIFAR-10、TIMIT和N-MNIST，采用浅层三层次架构。
• 采用顺序和非顺序输入处理策略，评估在TIDigits和TIMIT等时间任务上的性能表现。
• 通过比较包含和不包含MDNs的SNN在多个基准测试中的表现，使用准确率和鲁棒性作为指标，评估泛化能力。

实验结果

研究问题

• RQ1 与标准神经元相比，具有第一阶和第二阶动态的元神经元是否能提升SNN在时空任务中的泛化能力？
• RQ2 在使用生物上合理学习规则训练的情况下，空间和时间MDNs在MNIST和TIDigits等基准数据集上的表现如何？
• RQ3 整合多种元神经元类型是否能提升SNN在图像分类和语音识别等多样化任务上的性能？
• RQ4 MDNs在不依赖更深或更大网络架构的前提下，能在多大程度上提升泛化能力？
• RQ5 MDNs是否能在保持生物合理性的同时，实现与最先进SNN相当的准确率？

主要发现

• 采用MDNs的SNN在MNIST数据集上达到98.69%的准确率，优于先前最先进SNN（98.64%），并展现出更优的泛化能力。
• 在Fashion-MNIST上，基于MDN的SNN达到90.5%的准确率，显著优于最先进SNN基线的85.74%。
• 在NETtalk任务中，MDN-SNN达到91.46%的准确率，高于最先进SNN的87.20%，表明其在时间泛化方面表现更优。
• 在TIMIT数据集上，MDN-SNN达到91.98%的准确率，尽管其性别分类设置与标准基准不同，仍表现出强劲性能。
• 在TIDigits上采用非顺序输入处理策略，准确率达到94.00%，优于顺序方法（78.00%），凸显输入表征在时间学习中的关键作用。
• 在所有任务中，MDN-SNN的泛化能力均优于标准SNN，表明元神经元多样性可增强模型的鲁棒性与适应性。