[论文解读] Spiking Neural Predictive Coding for Continual Learning from Data Streams

Alexander G. Ororbia|arXiv (Cornell University)|Aug 23, 2019

Advanced Memory and Neural Computing参考文献 99被引用 5

一句话总结

本文提出脉冲神经编码（Spiking Neural Coding, SpNC），一种基于预测编码的生物可解释、在线持续学习框架，采用脉冲神经网络（SNNs）实现。该方法利用局部、迭代的“猜测-验证”机制，结合漏电整合-放电（leaky integrate-and-fire）神经元与一种新颖的突触更新规则，有效缓解灾难性遗忘，相比标准反向传播SNNs，在分类性能上表现优异，同时计算效率更高，生物可解释性更强。

ABSTRACT

For energy-efficient computation in specialized neuromorphic hardware, we present spiking neural coding, an instantiation of a family of artificial neural models grounded in the theory of predictive coding. This model, the first of its kind, works by operating in a never-ending process of "guess-and-check", where neurons predict the activity values of one another and then adjust their own activities to make better future predictions. The interactive, iterative nature of our system fits well into the continuous time formulation of sensory stream prediction and, as we show, the model's structure yields a local synaptic update rule, which can be used to complement or as an alternative to online spike-timing dependent plasticity. In this article, we experiment with an instantiation of our model consisting of leaky integrate-and-fire units. However, the framework within which our system is situated can naturally incorporate more complex neurons such as the Hodgkin-Huxley model. Our experimental results in pattern recognition demonstrate the potential of the model when binary spike trains are the primary paradigm for inter-neuron communication. Notably, spiking neural coding is competitive in terms of classification performance and experiences less forgetting when learning from task sequence, offering a more computationally economical, biologically-plausible alternative to popular artificial neural networks.

研究动机与目标

• 为解决标准人工神经网络在持续、实时学习中的局限性，开发一种生物可解释、能效高效的替代方案。
• 通过将预测编码原理整合到脉冲神经网络中，弥合人工与生物神经计算之间的鸿沟。
• 设计一种局部、增量式的突触更新规则，避免反向传播，支持SNN中的在线学习。
• 在顺序任务流的持续学习场景中评估模型性能，重点关注泛化能力与遗忘缓解。
• 通过利用稀疏脉冲通信与低功耗计算，实现神经形态硬件上的高效部署。

提出的方法

• 模型采用漏电整合-放电（LIF）神经元模拟脉冲活动，通过精确的时间编码信息。
• 实现预测编码框架，神经元以连续时间迭代预测并校正下游神经元的活动。
• 从预测编码推导出一种新颖的局部突触更新规则——SpNCN-Lat与SpNCN-Buf变体，实现无需反向传播的增量权重调整。
• 学习规则被表述为残差误差最小化过程，突触权重根据预测误差进行更新，支持持续学习。
• 该框架具有通用性，可通过灵活的计算架构扩展至更复杂的神经元模型，如Hodgkin-Huxley模型。
• 模型以在线、流式方式训练，无需固定训练窗口或批处理。

实验结果

研究问题

• RQ1 基于预测编码的脉冲神经网络能否在无需反向传播的情况下，实现与现有方法相当的分类性能？
• RQ2 与基于STDP的SNN相比，所提出的SpNCN模型在顺序任务中的遗忘与泛化能力表现如何？
• RQ3 SpNCN中局部、迭代的更新规则在流式数据环境中在多大程度上支持稳定、增量式学习？
• RQ4 模型结构与学习规则如何提升神经形态系统中的能效与生物可解释性？
• RQ5 SpNCN框架能否扩展至LIF模型之外的更复杂神经动力学模型？

主要发现

• SpNCN模型在顺序MNIST与CIFAR-100任务上实现了具有竞争力的分类准确率，其泛化能力优于使用STDP训练的基线SNN。
• SpNCN-Lat变体相比SpNCN-Buf及其他基线模型表现出显著更低的灾难性遗忘，其表征空间中类别聚类更清晰、分离度更高。
• SpNCN-Buf模型表现出更高的遗忘率与更不规则的表征结构，类别聚类重叠明显，证实其在持续学习中稳定性较差。
• 所提出的局部突触更新规则可有效实现无需反向传播或时间窗口的在线学习，适用于实时神经形态系统。
• 由于采用稀疏脉冲通信与局部学习规则，模型展现出更优的计算经济性与生物可解释性。
• 该框架具备可扩展性，可适配更复杂的神经元模型（如Hodgkin-Huxley），同时保持其核心学习机制。