[论文解读] Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks

Bojian Yin, Federico Corradi+1 more|arXiv (Cornell University)|May 24, 2020

Advanced Memory and Neural Computing参考文献 40被引用 10

一句话总结

该论文提出了一种新颖的自适应脉冲递归神经网络（SRNN），利用PyTorch中的替代梯度和通过时间反向传播（BPTT）训练多时间尺度脉冲神经元，在序列和流式任务上实现了脉冲神经网络的最先进性能，其表现与经典RNN相当或更优，同时由于脉冲活动稀疏，实现了超过100倍的能量效率提升。

ABSTRACT

The emergence of brain-inspired neuromorphic computing as a paradigm for edge AI is motivating the search for high-performance and efficient spiking neural networks to run on this hardware. However, compared to classical neural networks in deep learning, current spiking neural networks lack competitive performance in compelling areas. Here, for sequential and streaming tasks, we demonstrate how a novel type of adaptive spiking recurrent neural network (SRNN) is able to achieve state-of-the-art performance compared to other spiking neural networks and almost reach or exceed the performance of classical recurrent neural networks (RNNs) while exhibiting sparse activity. From this, we calculate a $>$100x energy improvement for our SRNNs over classical RNNs on the harder tasks. To achieve this, we model standard and adaptive multiple-timescale spiking neurons as self-recurrent neural units, and leverage surrogate gradients and auto-differentiation in the PyTorch Deep Learning framework to efficiently implement backpropagation-through-time, including learning of the important spiking neuron parameters to adapt our spiking neurons to the tasks.

研究动机与目标

• 开发适用于神经形态边缘AI硬件的节能脉冲递归神经网络（SRNN）。
• 克服训练SNN时非可微脉冲神经元激活函数的挑战。
• 通过训练网络权重以及脉冲神经元参数（如时间常数）实现SRNN中的端到端通过时间反向传播（BPTT）。
• 证明自适应多时间尺度脉冲神经元可在序列和流式任务上实现与经典RNN相当的性能。
• 通过理论能量成本分析，量化并展示与经典RNN相比显著的能效提升。

提出的方法

• 将标准和自适应脉冲神经元建模为具有多个动力学时间尺度的自循环单元。
• 采用替代梯度方法，实现对非可微脉冲神经元激活函数的可微训练。
• 利用PyTorch深度学习框架中的自动微分机制，对SRNN执行通过时间反向传播（BPTT）。
• 通过BPTT不仅训练网络权重，还训练关键脉冲神经元参数（如时间常数），使其能够适应特定任务的时间动态特性。
• 通过利用网络中较低的平均发放率（Fr << 1）实现稀疏、事件驱动的计算。
• 基于乘加（MAC）和累加（AC）操作的理论能量成本建模，能量与脉冲活动（Fr）成正比，从而量化能效增益。

实验结果

研究问题

• RQ1 通过替代梯度和BPTT训练的自适应脉冲递归神经网络，是否能在序列和流式任务上实现与经典RNN相当的性能？
• RQ2 训练脉冲神经元的时间常数是否能使其相比固定时间尺度神经元更好地适应特定任务的时间动态？
• RQ3 在高性能场景下，脉冲SRNN能在多大程度上实现相对于经典RNN的能效提升？
• RQ4 在脉冲神经元中引入多时间尺度对网络性能和能效有何影响？
• RQ5 将复杂SNN集成到PyTorch等现代深度学习框架中，是否能实现大规模脉冲网络的可扩展且高效的训练？

主要发现

• 在QTDB心电图分类任务中，自适应SRNN达到84.4%的准确率，优于LIF-SRNN（73.7%），并接近经典LSTM的性能。
• 在SHD语音数据集上，自适应SRNN达到81.71%的准确率，其理论能效比RELU-SRNN高出243倍，且比经典LSTM高出100倍以上。
• 在S-MNIST数据集上，自适应SRNN达到97.82%的准确率，与当前最先进的SNN相当或更优，并接近经典RNN的性能。
• 能量比分析显示，在PS-MNIST任务上，自适应SRNN比双向LSTM能效高出1930倍。
• 理论能量建模证实，由于脉冲活动稀疏（Fr << 1），SRNN在复杂任务上相比经典RNN能实现超过100倍的能效提升。
• 将SRNN转换为非脉冲的RELU RNN后，性能始终有所提升，表明该框架中分层递归架构特别有效。