[论文解读] Temporal-Coded Deep Spiking Neural Network with Easy Training and Robust Performance

Shibo Zhou, Xiaohua Li+3 more|arXiv (Cornell University)|Sep 24, 2019

Advanced Memory and Neural Computing参考文献 39被引用 16

一句话总结

本文提出一种时间编码的深度脉冲神经网络（SNN），可在CIFAR10和ImageNet上实现简单、直接的训练，测试准确率与等效的DNN相差不足1%。通过利用脉冲波形动力学的闭式解，该方法在实现类似DNN的训练简便性的同时，展现出对8位、4位和2位权重量化及噪声扰动的鲁棒性，从而实现能效高效的类脑计算部署。

ABSTRACT

Spiking neural network (SNN) is interesting both theoretically and practically because of its strong bio-inspiration nature and potentially outstanding energy efficiency. Unfortunately, its development has fallen far behind the conventional deep neural network (DNN), mainly because of difficult training and lack of widely accepted hardware experiment platforms. In this paper, we show that a deep temporal-coded SNN can be trained easily and directly over the benchmark datasets CIFAR10 and ImageNet, with testing accuracy within 1% of the DNN of equivalent size and architecture. Training becomes similar to DNN thanks to the closed-form solution to the spiking waveform dynamics. Considering that SNNs should be implemented in practical neuromorphic hardwares, we train the deep SNN with weights quantized to 8, 4, 2 bits and with weights perturbed by random noise to demonstrate its robustness in practical applications. In addition, we develop a phase-domain signal processing circuit schematic to implement our spiking neuron with 90% gain of energy efficiency over existing work. This paper demonstrates that the temporal-coded deep SNN is feasible for applications with high performance and high energy efficient.

研究动机与目标

• 为解决脉冲神经网络（SNN）中训练困难的核心挑战，实现标准基准上的直接、端到端训练。
• 证明SNN可在保持高能效的同时，实现与深度神经网络（DNN）相当的准确率。
• 验证SNN在极端权重量化（8位、4位、2位）及随机权重扰动下的鲁棒性，以支持实际类脑硬件部署。
• 设计一种相域信号处理电路，实现比现有实现高90%能效的性能。

提出的方法

• SNN采用时间编码，即信息通过脉冲的到达时间而非发放率或群体编码来表示。
• 推导出脉冲波形动力学的闭式解，实现无需迭代优化的反向传播式训练，类似DNN。
• 利用闭式动力学直接在CIFAR10和ImageNet上进行标准反向传播训练，避免使用复杂的替代梯度方法。
• 在训练和推理过程中应用8位、4位和2位权重量化，以测试在低精度约束下的鲁棒性。
• 在训练过程中向网络权重注入随机噪声，以模拟硬件非理想性并提升鲁棒性。
• 设计一种相域信号处理电路以实现脉冲神经元，相比先前工作实现90%更高的能效。

实验结果

研究问题

• RQ1 能否通过脉冲动力学的闭式解，实现无需依赖替代梯度的深度SNN直接、简便训练？
• RQ2 时间编码SNN在CIFAR10和ImageNet上，与同等架构的DNN相比，其准确率能达到何种程度的接近？
• RQ3 SNN在极端权重量化（8位、4位、2位）及随机权重扰动下具有多强的鲁棒性？
• RQ4 所提出的SNN能否在类脑硬件中高效实现，并实现可测量的能效增益？
• RQ5 所提出的相域电路相比现有实现，其能效提升幅度是多少？

主要发现

• 所提出的SNN在CIFAR10和ImageNet上的测试准确率与等效DNN相差不足1%，证明其接近DNN的性能表现。
• 即使在2位权重量化下，网络仍保持高准确率，表明其对低精度部署具有强大鲁棒性。
• 模型对随机权重扰动表现出强韧性，证实其在类脑硬件中的实际可行性。
• 相域电路实现相比现有SNN硬件设计，能效提升90%。
• 闭式解使深度SNN实现直接、端到端训练，无需复杂替代梯度优化。