[论文解读] Long Short-term Memory with Two-Compartment Spiking Neuron

Shimin Zhang, Yang Qu+4 more|arXiv (Cornell University)|Jul 14, 2023

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出LSTM-LIF，一种受生物启发的双 compartment 脉冲神经元模型，将短期记忆分离至胞体，长期记忆存储于树突，从而在长时序依赖任务中实现更优性能。该模型在训练收敛速度、泛化能力方面表现更强，且相比非脉冲LSTM，能效提升超过100倍，同时保持高分类准确率。

ABSTRACT

The identification of sensory cues associated with potential opportunities and dangers is frequently complicated by unrelated events that separate useful cues by long delays. As a result, it remains a challenging task for state-of-the-art spiking neural networks (SNNs) to identify long-term temporal dependencies since bridging the temporal gap necessitates an extended memory capacity. To address this challenge, we propose a novel biologically inspired Long Short-Term Memory Leaky Integrate-and-Fire spiking neuron model, dubbed LSTM-LIF. Our model incorporates carefully designed somatic and dendritic compartments that are tailored to retain short- and long-term memories. The theoretical analysis further confirms its effectiveness in addressing the notorious vanishing gradient problem. Our experimental results, on a diverse range of temporal classification tasks, demonstrate superior temporal classification capability, rapid training convergence, strong network generalizability, and high energy efficiency of the proposed LSTM-LIF model. This work, therefore, opens up a myriad of opportunities for resolving challenging temporal processing tasks on emerging neuromorphic computing machines.

研究动机与目标

• 为解决脉冲神经网络（SNNs）中因单 compartment 模型记忆容量有限而导致的长时序依赖学习挑战。
• 通过设计具有 compartment 分离记忆的生物可解释神经元，克服 SNNs 在通过时间反向传播（BPTT）训练中的梯度消失问题。
• 开发一种在内存容量与计算效率之间取得平衡的脉冲神经元模型，以适用于神经形态硬件部署。
• 证明所提出的模型在时序任务上的分类准确率、训练速度和能效方面，优于标准LIF和非脉冲LSTM网络。

提出的方法

• LSTM-LIF 模型引入双 compartment 结构：胞体 compartment 负责短期记忆，树突 compartment 负责长期记忆，灵感来源于生物锥体神经元。
• 胞体 compartment 采用改进的漏电积分-发放（LIF）机制，通过漏电积分-发放动力学实现快速、瞬态的信号处理。
• 树突 compartment 实现独立的膜电位更新，具有更慢的时间常数，从而实现对历史输入的长期存储。
• 模型采用一种新颖的突触可塑性规则，使树突 compartment 能通过自适应交流（AC）操作长期保留过去输入的痕迹。
• 理论分析表明，双 compartment 设计通过保留缓慢的树突动力学中的梯度流动，有效缓解了 BPTT 中的梯度消失问题。
• 模型使用通过时间反向传播（BPTT）结合替代梯度方法进行训练，并在 S-MNIST 和 TIMIT 等多个时序分类基准上评估性能。

实验结果

研究问题

• RQ1 双 compartment 脉冲神经元模型是否能有效捕捉标准单 compartment SNNs 无法学习的长时序依赖关系？
• RQ2 在胞体与树突 compartment 之间分离短期与长期记忆，如何提升 SNNs 的训练稳定性和收敛性？
• RQ3 与标准 LIF 和非脉冲 LSTM 网络相比，LSTM-LIF 模型在多大程度上缓解了梯度消失问题？
• RQ4 双 compartment 设计带来的模型复杂度增加是否导致更高的能耗，还是能保持与简单 SNNs 相当的能效？
• RQ5 LSTM-LIF 模型的损失曲面与 LIF 相比如何？这对优化动力学和泛化能力有何启示？

主要发现

• LSTM-LIF 模型在多个时序分类任务（包括 S-MNIST 和 TIMIT）上达到最先进性能，分类准确率高于 LIF 和非脉冲 LSTM 模型。
• 该模型展现出显著更快的训练收敛速度，局部极小值附近的损失曲面更平滑，表明优化动力学更优，且陷入不良局部极小值的风险更低。
• 理论分析证实，双 compartment 结构通过保留缓慢的树突动力学中的梯度流动，有效缓解了 BPTT 中的梯度消失问题。
• 尽管模型复杂度提高，LSTM-LIF 在 S-MNIST 数据集上的实际能耗仅为 28.2 nJ，与 LIF 模型的 23.8 nJ 相当，但相比非脉冲 LSTM（2,834.7 nJ）实现了超过 100 倍的能效提升。
• LSTM-LIF 与 LIF 的逐层发放率相似（例如，[0.294, 0.146, 0.030] vs. [0.219, 0.145, 0.004]），证实性能提升并未以更高的放电活动为代价。
• 该模型展现出强大的泛化能力，表现为在多种时序任务中表现稳健，且训练动力学稳定。