[论文解读] Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks

Bojian Yin, Federico Corradi+1 more|arXiv (Cornell University)|Mar 12, 2021

Advanced Memory and Neural Computing被引用 13

一句话总结

本文提出了一种具有新型多高斯替代梯度和可训练神经元时间常数的自适应脉冲发放递归神经网络（SRNN），在语音和手势识别等时域基准测试中实现了最先进性能，超越了传统SNN和RNN，同时由于脉冲活动的稀疏性，计算效率提高了1至3个数量级。

ABSTRACT

Inspired by more detailed modeling of biological neurons, Spiking neural networks (SNNs) have been investigated both as more biologically plausible and potentially more powerful models of neural computation, and also with the aim of extracting biological neurons' energy efficiency; the performance of such networks however has remained lacking compared to classical artificial neural networks (ANNs). Here, we demonstrate how a novel surrogate gradient combined with recurrent networks of tunable and adaptive spiking neurons yields state-of-the-art for SNNs on challenging benchmarks in the time-domain, like speech and gesture recognition. This also exceeds the performance of standard classical recurrent neural networks (RNNs) and approaches that of the best modern ANNs. As these SNNs exhibit sparse spiking, we show that they theoretically are one to three orders of magnitude more computationally efficient compared to RNNs with comparable performance. Together, this positions SNNs as an attractive solution for AI hardware implementations.

研究动机与目标

• 解决脉冲神经网络（SNN）与经典人工神经网络（ANN）在时间序列建模中的性能差距。
• 提升SNN在语音和手势识别等具有挑战性的时域任务上的训练稳定性和准确性。
• 通过利用脉冲神经元稀疏的事件驱动特性，实现面向能效型AI硬件的高效部署。
• 证明SNN可达到甚至超越经典RNN的性能，同时保持极低的计算和能耗成本。

提出的方法

• 提出一种新型多高斯替代梯度，包含负斜率，受ELU激活函数启发，以在反向传播过程中更精确地近似不可微的脉冲函数。
• 采用基于所提替代梯度的时序反向传播（BPTT）方法，对递归脉冲神经元进行端到端训练。
• 在训练过程中联合优化自适应漏电积分-发放（LIF）神经元的内部时间常数参数与网络权重，以改善学习动态和性能。
• 采用过零编码方式将连续输入信号（如ECG、音频）转换为脉冲序列，以保留时域处理所需的时间信息。
• 在TIMIT等任务中采用双向SRNN，并对前向和后向隐藏状态进行平均，以增强序列建模能力。
• 通过对比累积（AC）和乘加（MAC）操作的理论能耗成本，建立理论能效模型，表明由于脉冲活动稀疏，SNN显著减少了MAC操作次数。

实验结果

研究问题

• RQ1 新型替代梯度是否能提升脉冲递归网络在时域任务上的训练稳定性和性能？
• RQ2 与固定参数相比，联合训练脉冲神经元的时间常数是否能带来更好的泛化能力和准确性？
• RQ3 SRNN是否能在Google语音命令、TIMIT和SoLi手势识别等具有挑战性的基准上实现最先进性能？
• RQ4 SRNN中稀疏脉冲模式相较于标准RNN和精度相当的ANN，能在多大程度上降低计算和能耗成本？
• RQ5 SRNN是否能在保持脉冲系统固有能效优势的同时，达到甚至超越经典RNN的性能？

主要发现

• 所提出的多高斯替代梯度在所有评估基准上（包括ECG、语音和手势识别任务）均持续优于现有替代梯度。
• 联合训练自适应脉冲神经元的时间常数可带来一致的性能提升，尤其在TIMIT和SoLi等复杂时间任务上表现显著。
• SRNN在Google语音命令数据集上实现了最先进性能，超越了以往SNN，并接近最先进现代ANN的性能水平。
• 在TIMIT基准上，双向自适应SRNN通过结合前向和后向序列处理并平均输出，实现了高准确率。
• SRNN中平均每个脉冲神经元每3至30个时间步仅发放一次脉冲，表明其具有高度稀疏的活动特性。
• 理论能效成本分析表明，由于低代价AC操作占主导地位，SRNN相比精度相当的RNN和ANN具有1至3个数量级的计算效率优势。