[论文解读] Event-Driven Learning for Spiking Neural Networks

Wenjie Wei, Malu Zhang+8 more|arXiv (Cornell University)|Mar 1, 2024

Advanced Memory and Neural Computing被引用 14

一句话总结

该论文提出了两种新颖的事件驱动学习算法 STD-ED 和 MPD-ED，用于深度尖峰神经网络，解决过度稀疏和梯度反转问题，并在神经形态硬件上展示了最先进的性能和显著的能耗节省。

ABSTRACT

Brain-inspired spiking neural networks (SNNs) have gained prominence in the field of neuromorphic computing owing to their low energy consumption during feedforward inference on neuromorphic hardware. However, it remains an open challenge how to effectively benefit from the sparse event-driven property of SNNs to minimize backpropagation learning costs. In this paper, we conduct a comprehensive examination of the existing event-driven learning algorithms, reveal their limitations, and propose novel solutions to overcome them. Specifically, we introduce two novel event-driven learning methods: the spike-timing-dependent event-driven (STD-ED) and membrane-potential-dependent event-driven (MPD-ED) algorithms. These proposed algorithms leverage precise neuronal spike timing and membrane potential, respectively, for effective learning. The two methods are extensively evaluated on static and neuromorphic datasets to confirm their superior performance. They outperform existing event-driven counterparts by up to 2.51% for STD-ED and 6.79% for MPD-ED on the CIFAR-100 dataset. In addition, we theoretically and experimentally validate the energy efficiency of our methods on neuromorphic hardware. On-chip learning experiments achieved a remarkable 30-fold reduction in energy consumption over time-step-based surrogate gradient methods. The demonstrated efficiency and efficacy of the proposed event-driven learning methods emphasize their potential to significantly advance the fields of neuromorphic computing, offering promising avenues for energy-efficiency applications.

研究动机与目标

• 评估现有面向深度 SNN 的事件驱动学习算法的局限性。
• 开发两种新的事件驱动学习方法，利用尖峰时序或膜电位。
• 解决过度稀疏和梯度反转问题，以实现稳定训练。
• 在静态和神经形态数据集上展示性能提升。
• 在神经形态硬件上验证所提方法的能效。

提出的方法

• 提出基于自适应发放阈值的积分与发放（AFT-IF）神经元，以缓解过度稀疏和梯度反转。
• 开发 STD-ED，在尖峰时刻进行学习，导数通过膜电位与尖峰时间关系计算。
• 引入 MPD-ED，采用 AFT-LIF 神经元和掩码代理梯度（MSG），实现通过膜电位信号的事件驱动反向传播。
• 使用线性 PSP 核（用于 STD-ED）和基于膜电位的学习信号（用于 MPD-ED），以避免梯度反转。
• 推导两种方法的反向传播方程以更新权重和尖峰时刻。
• 在静态（F-MNIST、CIFAR-10/100）和神经形态（N-MNIST、DVS-Gesture、DVS-CIFAR10）数据集上进行评估。

实验结果

研究问题

• RQ1 完全事件驱动学习方法（STD-ED 和 MPD-ED）是否能在具有挑战性的数据集上超越现有的事件驱动方法？
• RQ2 自适应发放阈值机制和膜电位信号是否能实现深度 SNN 的稳定、高效训练？
• RQ3 在尖峰时序与膜电位基础学习之间，在准确率与效率方面有哪些权衡？
• RQ4 在具备芯片事件驱动学习的神经形态硬件上能实现多少能效？

主要发现

• STD-ED 与 MPD-ED 在基准数据集上超越现有事件驱动方法的性能。
• 在 CIFAR-100 上，STD-ED 与 MPD-ED 分别比对手提高最多 2.51% 和 6.79%。
• 片上学习实验显示与基于时间步的代理梯度方法相比，能耗降低约 30 倍。
• 所提方法在静态和神经形态数据集上均得到验证，证明其在能效神经形态计算中的有效性。
• 能效与可实用性通过理论分析和硬件实现结果得到支持。