[论文解读] Deep Convolutional Spiking Neural Networks for Image Classification

Ruthvik Vaila, John Chiasson+1 more|arXiv (Cornell University)|Mar 28, 2019

Advanced Memory and Neural Computing被引用 12

一句话总结

本文提出一种通过基于发放率的脉冲时间依赖可塑性（R-STDP）训练的深度卷积脉冲神经网络（SNN），用于在MNIST和N-MNIST数据集上的图像分类。结果表明，SNN在使用SVM对特征进行分类时，MNIST数据集上的准确率达到98.8%，且表现出更少的灾难性遗忘和对权重初始化的较低敏感性，凸显其在能效和鲁棒性方面相较于传统反向传播网络的优势。

ABSTRACT

Spiking neural networks are biologically plausible counterparts of the artificial neural networks, artificial neural networks are usually trained with stochastic gradient descent and spiking neural networks are trained with spike timing dependant plasticity. Training deep convolutional neural networks is a memory and power intensive job. Spiking networks could potentially help in reducing the power usage. There is a large pool of tools for one to chose to train artificial neural networks of any size, on the other hand all the available tools to simulate spiking neural networks are geared towards computational neuroscience applications and they are not suitable for real life applications. In this work we focus on implementing a spiking CNN using Tensorflow to examine behaviour of the network and empirically study the effect of various parameters on learning capabilities and also study catastrophic forgetting in the spiking CNN and weight initialization problem in R-STDP using MNIST and N-MNIST data sets.

研究动机与目标

• 探究使用基于发放率的STDP（R-STDP）训练深度卷积脉冲神经网络用于图像分类的可行性。
• 评估权重初始化、侧向抑制和过度训练对SNN学习性能的影响。
• 比较R-STDP与传统反向传播和基于SVM的分类器在分类准确率和稳定性方面的表现。
• 分析SNN中灾难性遗忘现象与标准深度网络的对比。
• 基于MNIST和N-MNIST数据集，实证研究SNN的收敛行为及最优训练时长。

提出的方法

• 使用TensorFlow实现具有多个卷积层和池化层的深度卷积脉冲神经网络架构。
• 将脉冲时间依赖可塑性（STDP）作为无监督学习规则，采用简化的R-STDP模型，根据突触前与突触后脉冲的时间差更新权重。
• 网络采用膜电位模型，当突触后电位总和超过阈值γ时产生输出脉冲。
• 通过L3和L4层的卷积核进行特征提取，每个特征图内神经元共享权重。
• 分类通过两层反向传播网络或对最后一层卷积层提取的特征使用SVM完成。
• 通过训练步长间收敛因子和权重变化幅度监测收敛性，以检测过度训练。

实验结果

研究问题

• RQ1 不同权重初始化方案下，深度SNN中R-STDP训练性能如何变化？
• RQ2 过度训练在多大程度上会降低脉冲卷积网络的分类准确率？
• RQ3 与标准反向传播网络相比，灾难性遗忘在脉冲CNN中如何表现？
• RQ4 R-STDP能否在无需显式反向传播的情况下，有效从MNIST和N-MNIST数据集中学习复杂特征？
• RQ5 SNN的最优训练时长是多少？如何可靠检测收敛？

主要发现

• 当使用SVM对特征进行分类时，SNN在MNIST数据集上实现了98.8%的测试准确率，优于两层反向传播网络。
• 在N-MNIST数据集上，网络通过SVM分类达到98.32%的准确率，表明其在脉冲数据上具有优异性能。
• SNN中灾难性遗忘显著减少：在两个不相交数据集上训练后，网络保留了90.71%的准确率，经10%微调数据后提升至95.1%。
• 过度训练导致测试准确率下降1%-2%，且卷积核权重变化仅在约100次训练间隔（n ≈ 100）后趋于稳定，表明需要早期停止。
• 收敛因子在n=80至n=100之间急剧下降，标志过度训练开始，被用作训练收敛的代理指标。
• R-STDP对权重初始化高度敏感，不良初始化会导致特征学习不佳和准确率下降。