[论文解读] A Tandem Learning Rule for Effective Training and Rapid Inference of Deep Spiking Neural Networks

Jibin Wu, Yansong Chua+4 more|arXiv (Cornell University)|Jul 2, 2019

Advanced Memory and Neural Computing参考文献 75被引用 16

一句话总结

本文提出了一种并联学习规则，将脉冲神经网络（SNN）与可微分人工神经网络（ANN）耦合，以实现SNN的有效反向传播训练。通过共享权重并利用ANN近似SNN的脉冲计数以进行梯度计算，该方法在推理时间与突触操作次数上相比最先进SNN至少减少了10倍，同时保持了具有竞争力的分类准确率。

ABSTRACT

Spiking neural networks (SNNs) represent the most prominent biologically inspired computing model for neuromorphic computing (NC) architectures. However, due to the non-differentiable nature of spiking neuronal functions, the standard error back-propagation algorithm is not directly applicable to SNNs. In this work, we propose a tandem learning framework, that consists of an SNN and an Artificial Neural Network (ANN) coupled through weight sharing. The ANN is an auxiliary structure that facilitates the error back-propagation for the training of the SNN at the spike-train level. To this end, we consider the spike count as the discrete neural representation in the SNN, and design ANN neuronal activation function that can effectively approximate the spike count of the coupled SNN. The proposed tandem learning rule demonstrates competitive pattern recognition and regression capabilities on both the conventional frame-based and event-based vision datasets, with at least an order of magnitude reduced inference time and total synaptic operations over other state-of-the-art SNN implementations. Therefore, the proposed tandem learning rule offers a novel solution to training efficient, low latency, and high accuracy deep SNNs with low computing resources.

研究动机与目标

• 为解决由于脉冲神经元不可微而导致深度SNN训练困难的问题。
• 通过利用可微分ANN作为梯度计算的代理，实现SNN的有效反向传播训练。
• 在能量受限的类脑硬件上实现低延迟、高精度的SNN推理。
• 通过利用稀疏脉冲活动与高效的权重共享，减少突触操作与推理时间。

提出的方法

• 设计了一种并联网络架构，其中SNN与ANN共享相同权重，从而实现通过可微分ANN的梯度传播。
• 在SNN中使用脉冲计数作为离散神经表征，且特别设计ANN的激活函数以近似该脉冲计数。
• 在ANN上执行误差反向传播，从而实现SNN的高效且内存高效的训练，而无需对不可微分的脉冲函数直接计算梯度。
• 采用批量归一化以稳定训练，并确保深层SNN中的有效信息流动。
• 优化时间窗口大小以高效表示信息，实现仅需最少时间步数的快速推理。
• 在基于帧的（如CIFAR-10）和基于事件的（如DVS128 Gesture）数据集上评估该框架，以证明其泛化能力。

实验结果

研究问题

• RQ1 可微分ANN代理是否能有效近似耦合SNN的脉冲计数，从而实现反向传播训练？
• RQ2 并联学习规则是否在标准视觉基准上实现具有竞争力的分类准确率，同时支持快速推理？
• RQ3 与现有SNN训练方法相比，并联方法在多大程度上减少了突触操作与推理时间？
• RQ4 在训练过程中，SNN脉冲计数与ANN激活之间的关系保持得如何？
• RQ5 该并联规则是否可扩展以支持时间序列学习，还是仅限于基于 firing rate 的分类？

主要发现

• 采用并联规则训练的SNN在CIFAR-10与DVS128 Gesture数据集上实现了具有竞争力的分类准确率，与最先进SNN相当。
• 相比其他SNN实现，推理时间减少了至少一个数量级，达到最优准确率所需的时间步数显著减少。
• 由于稀疏活动与短编码窗口，总突触操作数相比基线ANN及其他SNN方法减少了至少一个数量级。
• 在整个训练过程中，ANN激活与SNN脉冲计数之间的余弦距离保持较小，表明高维表征中具有强对齐性。
• 在ANN与SNN的权重-激活点积之间观察到显著的正皮尔逊相关性，证实线性关系得到良好保持。
• 该方法表现出卓越的能效，当SynOps比率低于1时，SNN比ANN更高效，并且在VGGNet-9上相比现有SNN实现了至少10倍的能效提升。