[论文解读] A simple and efficient SNN and its performance & robustness evaluation method to enable hardware implementation.

Anmol Biswas, Sidharth Kumar Prasad+2 more|arXiv (Cornell University)|Dec 7, 2016

Advanced Memory and Neural Computing参考文献 9被引用 12

一句话总结

本文提出一种简单的两层脉冲神经网络（SNN），采用突触-神经元协同设计与群体编码，以实现高效的硬件映射。该工作引入一种计算高效的性能指标方法（比标准测试快15,000倍），其与准确率的相关性高达0.98，可实现基于噪声容忍度指标的快速鲁棒性评估，使基准数据集上的训练轮次减少30倍、突触数量减少3.5倍，优于以往的SNN模型。

ABSTRACT

Spiking Neural Networks (SNN) are more closely related to brain-like computation and inspire hardware implementation. This is enabled by small networks that give high performance on standard classification problems. In literature, typical SNNs are deep and complex in terms of network structure, weight update rules and learning algorithms. This makes it difficult to translate them into hardware. In this paper, we first develop a simple 2-layered network in software which compares with the state of the art on four different standard data-sets within SNNs and has improved efficiency. For example, it uses lower number of neurons (3 x), synapses (3.5 x) and epochs for training (30 x) for the Fisher Iris classification problem. The efficient network is based on effective population coding and synapse-neuron co-design. Second, we develop a computationally efficient (15000 x) and accurate (correlation of 0.98) method to evaluate the performance of the network without standard recognition tests. Third, we show that the method produces a robustness metric that can be used to evaluate noise tolerance.

研究动机与目标

• 设计一种最小化、硬件友好的SNN，以降低复杂度，便于在交叉阵列中实现。
• 通过开发一种更快、更准确的替代方法，克服标准SNN性能评估中的计算瓶颈。
• 利用基于新评估方法的随机模拟，量化并评估网络对噪声的鲁棒性。
• 证明增加训练轮次可提升噪声容忍度，而性能增益有限，从而验证鲁棒性指标的有效性。

提出的方法

• 设计仅包含输入层和输出层的两层SNN，利用群体编码将输入特征映射为归一化的电流水平。
• 实现从输入神经元到输出神经元的兴奋性连接，以及侧向抑制性突触，以强制执行“赢家通吃”的放电规则。
• 在训练中应用有监督的赫布学习法，并引入负向偏置电流，以抑制错误输出神经元的放电。
• 基于输出电流空间中各类均值的分离程度，提出一种基于直流分析的性能指标。
• 将该性能指标作为分类准确率的代理指标，经验证其与标准识别测试的相关系数达0.98。
• 在学习权重上施加零均值高斯噪声，进行随机模拟，以评估噪声容忍度并推导出鲁棒性指标。

实验结果

研究问题

• RQ1 能否通过极简的两层SNN在标准SNN基准上实现最先进性能，同时显著降低复杂度？
• RQ2 能否开发一种计算高效的指标，以替代SNN中基于瞬态响应的标准识别测试？
• RQ3 所提出的性能指标是否在不同训练阶段与实际分类准确率保持强相关性？
• RQ4 增加训练轮次在多大程度上提升噪声容忍度？能否通过鲁棒性指标进行量化？
• RQ5 新评估方法能否加速硬件映射SNN的随机模拟，以实现鲁棒性分析？

主要发现

• 所提出的SNN在Fisher Iris数据集上实现了3倍更少的神经元、3.5倍更少的突触，以及30倍更少的训练轮次，同时保持了具有竞争力的性能。
• 性能指标与标准分类准确率高度相关（R = 0.98），可实现可靠性能估计，且计算成本降低15,000倍。
• 该方法可实现快速随机模拟，将威斯康星州乳腺癌数据集的评估时间从约150秒缩短至约0.01秒。
• 在14轮训练后，网络的鲁棒性指标提高2.5倍，噪声容忍度提升2倍（在90%准确率下，σ = 100 vs. σ = 50，相比单轮训练）。
• 额外训练带来的性能增益微乎其微（准确率从93%提升至96%），但鲁棒性显著增强，表明鲁棒性是比准确率本身更优的学习质量指标。
• 性能指标与鲁棒性指标相结合，可实现SNN在硬件映射与故障容错分析中高效、准确且可扩展的评估。