[论文解读] Developing a supervised training algorithm for limited precision feed-forward spiking neural networks

Evangelos Stromatias|arXiv (Cornell University)|Sep 13, 2011

Advanced Memory and Neural Computing参考文献 37被引用 5

一句话总结

该论文提出了一种用于前馈脉冲神经网络的监督训练算法，利用遗传算法优化具有有限精度的突触权重和延迟（权重和延迟各使用三位精度）。在XOR和Fisher鸢尾花分类任务上，其性能优于SpikeProp、QuickProp和Rprop，且已在微控制器上成功实现硬件部署，展示了其在能效神经形态计算方面的潜力。

ABSTRACT

Spiking neural networks have been referred to as the third generation of artificial neural networks where the information is coded as time of the spikes. There are a number of different spiking neuron models available and they are categorized based on their level of abstraction. In addition, there are two known learning methods, unsupervised and supervised learning. This thesis focuses on supervised learning where a new algorithm is proposed, based on genetic algorithms. The proposed algorithm is able to train both synaptic weights and delays and also allow each neuron to emit multiple spikes thus taking full advantage of the spatial-temporal coding power of the spiking neurons. In addition, limited synaptic precision is applied; only six bits are used to describe and train a synapse, three bits for the weights and three bits for the delays. Two limited precision schemes are investigated. The proposed algorithm is tested on the XOR classification problem where it produces better results for even smaller network architectures than the proposed ones. Furthermore, the algorithm is benchmarked on the Fisher iris classification problem where it produces higher classification accuracies compared to SpikeProp, QuickProp and Rprop. Finally, a hardware implementation on a microcontroller is done for the XOR problem as a proof of concept. Keywords: Spiking neural networks, supervised learning, limited synaptic precision, genetic algorithms, hardware implementation.

研究动机与目标

• 开发一种支持有限突触精度的脉冲神经网络监督学习算法。
• 通过单一优化框架实现对突触权重和延迟的训练。
• 通过允许神经元对每个输入发射多个脉冲，利用时间编码。
• 与SpikeProp、QuickProp和Rprop等成熟反向传播方法进行性能对比。
• 通过在微控制器上实现硬件原型，验证该方法在真实场景中的可行性。

提出的方法

• 使用遗传算法演化前馈脉冲神经网络中的突触权重和延迟。
• 突触以六比特表示：三位用于权重，三位用于延迟，支持有限精度训练。
• 网络采用时间编码，允许神经元通过发射多个脉冲来编码信息。
• 适应度评估基于分类准确率，通过最小化误差驱动进化选择。
• 将该算法应用于XOR和Fisher鸢尾花数据集，以评估性能。
• 在微控制器上实现硬件原型，以证明其实时可行性和低功耗运行特性。

实验结果

研究问题

• RQ1 遗传算法能否有效训练具有有限精度权重和延迟的脉冲神经网络？
• RQ2 允许每个神经元发射多个脉冲是否能提升脉冲网络的分类性能？
• RQ3 与SpikeProp、QuickProp和Rprop等基于反向传播的方法相比，该方法在准确率和效率方面表现如何？
• RQ4 训练后的网络能否成功部署在低功耗微控制器上？
• RQ5 减少突触精度（六比特表示）对网络性能有何影响？

主要发现

• 所提出的算法在XOR问题上的分类结果优于以往报道的架构，即使网络规模更小。
• 在Fisher鸢尾花数据集上，该方法在分类准确率上优于SpikeProp、QuickProp和Rprop。
• 使用每个神经元发射多个脉冲的方式，增强了网络利用时间编码提升性能的能力。
• 该算法成功实现了权重和延迟的同时训练，提升了网络的表征能力。
• 在微控制器上的硬件实现验证了该训练网络在低功耗嵌入式系统中部署的可行性。
• 六比特精度方案（权重三位，延迟三位）保持了高性能，证明了超低精度脉冲网络的可行性。