[论文解读] Direct training based spiking convolutional neural networks for object recognition.

Shibo Zhou, Ying Chen+2 more|arXiv (Cornell University)|Sep 24, 2019

Advanced Memory and Neural Computing被引用 4

一句话总结

该论文提出一种基于直接训练的脉冲卷积神经网络（SCNN），采用时间编码以实现高目标识别准确率，同时可训练参数极少。在MNIST上达到99.13%的准确率，在CIFAR-10上达到80.49%——在使用时间编码的直接可训练SNN中处于最先进水平——且与基于转换的方法相比，参数数量显著减少。

ABSTRACT

Direct training based spiking neural networks (SNNs) have been paid a lot of attention recently because of its high energy efficiency on emerging neuromorphic hardware. However, due to the non-differentiability of the spiking activity, most of the related SNNs still cannot achieve high object recognition accuracy for the complicated dataset, such as CIFAR-10. Even though some of them can reach the accuracy of 90%, the energy consumption in those networks is very high. Considering this, we propose a direct supervised learning based spiking convolutional neural networks (SCNNs) using temporal coding scheme in this study, aiming to exploit minimum trainable parameters to recognize the object in the image with high accuracy. The MNIST and CIFAR-10 datasets are used to evaluate the performance of the proposed networks. For the MNIST dataset, the proposed networks with noise input are able to reach the high recognition accuracy (99.13%) as the other state-of-art models but use the much less trainable parameters than them. For CIFAR-10 dataset, the proposed networks with data augmentation step can reach the recognition accuracy of 80.49%., which is the state-of-art high accuracy in the field of direct training based SNNs using temporal coding manner. In addition, the number of trainable parameters used in such networks is much less than that in the conversion based SCNNs reported in the literature.

研究动机与目标

• 解决在复杂数据集（如CIFAR-10）上直接训练的脉冲神经网络（SNN）准确率低的挑战。
• 减少SNN中的可训练参数数量，以提升能效和可扩展性。
• 在直接监督学习框架中，通过时间编码实现高目标识别准确率。
• 在保持参数数量最少的同时，超越现有直接训练SNN的准确率，尤其与基于转换的方法相比。
• 证明在标准基准上，使用极少可训练参数即可实现高准确率SNN的可行性。

提出的方法

• 采用直接监督学习方法训练脉冲卷积神经网络（SCNN），无需从人工神经网络转换。
• 使用时间编码方案表示输入数据，其中信息通过脉冲的发放时间进行编码。
• 在训练过程中引入噪声输入，以增强模型鲁棒性并提升MNIST上的泛化能力。
• 应用数据增强技术，以提升在更复杂CIFAR-10数据集上的性能。
• 通过时间反向传播（BPTT）或类似可微分替代梯度，对网络进行优化，以处理不可微分的脉冲神经元。
• 通过设计针对脉冲动力学优化的紧凑网络架构，最小化可训练参数数量。

实验结果

研究问题

• RQ1 基于时间编码的直接训练SNN是否能在无需从ANN转换的情况下，在MNIST和CIFAR-10上实现高准确率？
• RQ2 在训练过程中引入噪声输入，对所提出SNN的泛化能力和准确率有何影响？
• RQ3 在保持高识别性能的前提下，可训练参数数量可被减少到何种程度？
• RQ4 与当前最先进基于转换的SNN相比，所提出的直接训练SNN在准确率和参数效率方面表现如何？
• RQ5 数据增强是否能提升直接可训练SNN在复杂数据集（如CIFAR-10）上的性能？

主要发现

• 所提出的SNN在MNIST数据集上实现了99.13%的识别准确率，与最先进模型相当，但可训练参数显著更少。
• 在CIFAR-10数据集上，模型准确率达到80.49%——这是使用时间编码的直接训练SNN中目前最先进性能。
• 所提出网络中的可训练参数数量显著低于文献中报道的基于转换的SCNN。
• 训练过程中引入噪声输入增强了模型鲁棒性，并有助于在MNIST上实现高准确率。
• 数据增强对于在更复杂的CIFAR-10数据集上实现高性能直接可训练SNN至关重要。
• 所提出方法表明，通过直接训练和时间编码，可在极少数参数下实现SNN的高准确率。