[论文解读] Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs

Gourav Datta, Haoqin Deng+2 more|arXiv (Cornell University)|Oct 23, 2022

Advanced Memory and Neural Computing被引用 10

一句话总结

该论文提出了一种新颖的ANN-to-SNN转换框架，用于脉冲LSTM，实现了高精度、低延迟和高能效的推理。通过引入截断激活函数，优化带有偏置偏移的IF/LIF转换，并采用流水线并行处理，该方法在语音和传感器数据集上仅产生小于0.3%的精度下降，相比先前工作实现了4×至105.7×的延迟降低和2.8×至13.2×的能耗降低。

ABSTRACT

Spiking Neural Networks (SNNs) have emerged as an attractive spatio-temporal computing paradigm for complex vision tasks. However, most existing works yield models that require many time steps and do not leverage the inherent temporal dynamics of spiking neural networks, even for sequential tasks. Motivated by this observation, we propose an ev{optimized spiking long short-term memory networks (LSTM) training framework that involves a novel ANN-to-SNN conversion framework, followed by SNN training}. In particular, we propose novel activation functions in the source LSTM architecture and judiciously select a subset of them for conversion to integrate-and-fire (IF) activations with optimal bias shifts. Additionally, we derive the leaky-integrate-and-fire (LIF) activation functions converted from their non-spiking LSTM counterparts which justifies the need to jointly optimize the weights, threshold, and leak parameter. We also propose a pipelined parallel processing scheme which hides the SNN time steps, significantly improving system latency, especially for long sequences. The resulting SNNs have high activation sparsity and require only accumulate operations (AC), in contrast to expensive multiply-and-accumulates (MAC) needed for ANNs, except for the input layer when using direct encoding, yielding significant improvements in energy efficiency. We evaluate our framework on sequential learning tasks including temporal MNIST, Google Speech Commands (GSC), and UCI Smartphone datasets on different LSTM architectures. We obtain test accuracy of 94.75% with only 2 time steps with direct encoding on the GSC dataset with 4.1x lower energy than an iso-architecture standard LSTM.

研究动机与目标

• 通过利用SNN的时间特性和稀疏性，解决现有脉冲LSTM在序列任务中延迟高和能效低的问题。
• 克服先前SNN转换方法需要大量时间步和昂贵乘加（MAC）操作的局限性。
• 为LIF神经元的阈值和漏电流参数建立联合优化框架，以最小化转换后的误差。
• 通过低功耗神经形态硬件实现实时、设备端的推理，适用于语音和动作识别等流式应用。
• 在大幅降低能耗和推理延迟的同时，实现接近最先进水平的精度。

提出的方法

• 在源网络中引入标准LSTM激活函数（sigmoid和tanh）的截断版本，以减少向脉冲神经元转换时的误差。
• 仅选择性地将这些激活函数转换为带有最优偏置偏移的积分发放（IF）神经元，以消除SNN推理中的MAC操作。
• 推导出考虑漏电流项的脉冲积分发放（LIF）激活函数的闭式表达式，从而在非均匀输入分布下实现误差的解析分析。
• 在SNN微调过程中使用代理梯度学习，联合优化阈值和漏电流参数，以最小化转换误差。
• 实现一种流水线并行处理方案，隐藏SNN的时间步，实现多个输入元素的并发处理，从而降低系统延迟。
• 在整个SNN中使用仅累加操作（AC），仅在使用直接编码时输入层除外，以在神经形态硬件上最大化能效。

实验结果

研究问题

• RQ1 我们能否在保持高精度的前提下，减少准确脉冲LSTM推理所需的时间步数？
• RQ2 在将非脉冲LSTM转换为使用IF和LIF神经元的脉冲LSTM时，如何最小化转换误差？
• RQ3 在LIF神经元中联合优化阈值和漏电流参数对推理精度和能效有何影响？
• RQ4 流水线并行处理能否显著降低长序列脉冲LSTM的端到端延迟？
• RQ5 与基于MAC的ANN相比，SNN中仅使用累加操作在多大程度上能降低能耗，尤其是在神经形态硬件上？

主要发现

• 所提出的框架在使用直接编码的Google Speech Commands数据集上，仅用2个时间步即实现了94.75%的测试精度，达到最先进水平。
• 与最先进脉冲LSTM实现相比，该方法能耗降低高达13.2倍，相比标准非脉冲LSTM，能耗降低2.8至5.1倍。
• 由于时间步数更少且采用流水线处理，与SOTA脉冲LSTM相比，延迟降低高达105.7倍，相比非脉冲LSTM延迟降低4倍。
• 在SNN中除输入层外全部使用仅累加操作，通过避免高乘法器负载的计算，实现了显著的能耗节省。
• 闭式LIF激活函数使通过联合优化阈值和漏电流参数实现误差分析与减少成为可能，从而改善精度与延迟的权衡。
• 该框架在多种数据集（包括时序MNIST、Google Speech Commands和UCI Smartphone）上均保持接近SOTA的精度（<0.3%的精度下降），证明了其在各类序列任务中的泛化能力。