[论文解读] EventProp: Backpropagation for Exact Gradients in Spiking Neural Networks

Timo C. Wunderlich, Christian Pehle|arXiv (Cornell University)|Sep 17, 2020

Advanced Memory and Neural Computing参考文献 55被引用 8

一句话总结

EventProp 为具有漏电整合-放电神经元的脉冲神经网络提出了一种反向传播算法，通过最优控制理论在脉冲不连续性处反向传播误差，精确计算损失函数相对于脉冲时间与膜电位的梯度。该方法通过仅在脉冲时刻存储状态，实现了极低内存占用，支持任意网络架构（前馈、循环、卷积）的训练。

ABSTRACT

We derive the backpropagation algorithm for spiking neural networks composed of leaky integrate-and-fire neurons operating in continuous time. This algorithm, EventProp, computes the exact gradient of an arbitrary loss function of spike times and membrane potentials by backpropagating errors in time. For the first time, by leveraging methods from optimal control theory, we are able to backpropagate errors through spike discontinuities without approximations or smoothing operations. As errors are backpropagated in an event-based manner (at spike times), EventProp requires storing state variables only at these times, providing favorable memory requirements. EventProp can be applied to spiking networks with arbitrary connectivity, including recurrent, convolutional and deep feed-forward architectures. While we consider the leaky integrate-and-fire neuron model in this work, our methodology to derive the gradient can be applied to other spiking neuron models. We demonstrate learning using gradients computed via EventProp in a deep spiking network using an event-based simulator and a non-linearly separable dataset encoded using spike time latencies. Our work supports the rigorous study of gradient-based methods to train spiking neural networks while providing insights toward the development of learning algorithms in neuromorphic hardware.

研究动机与目标

• 开发一种针对脉冲神经网络的严格反向传播方法，精确处理脉冲不连续性，无需近似或平滑处理。
• 实现对连续时间脉冲网络中脉冲时间与膜电位任意损失函数的梯度计算。
• 通过仅在脉冲时刻存储网络状态，而非持续存储，显著降低内存使用。
• 支持使用精确梯度训练复杂架构（如深层、循环、卷积）的脉冲网络。
• 为基于梯度的学习在脉冲神经网络中的应用建立理论基础，适用于神经形态计算。

提出的方法

• 利用最优控制理论，推导出在连续时间脉冲网络中通过脉冲不连续性的精确梯度。
• 为漏电整合-放电神经元推导伴随系统，实现时间反向传播误差，保持精确性。
• 采用事件驱动反向传播，仅在脉冲时刻传播误差信号，降低内存开销。
• 使用伴随方法计算损失函数相对于突触权重与神经元参数的梯度。
• 将该框架扩展至任意网络连接结构，包括循环与深层架构。
• 通过事件驱动模拟器在非线性不可分数据集上验证了方法的可行性，该数据集通过脉冲时间延迟进行编码。

实验结果

研究问题

• RQ1 能否在连续时间脉冲神经网络中，无需近似或平滑处理，精确计算通过脉冲不连续性的梯度？
• RQ2 如何将反向传播调整为事件驱动模式，仅在脉冲时刻存储状态？
• RQ3 基于最优控制原理计算脉冲网络中精确梯度的理论基础是什么？
• RQ4 所提出的方法能否在复杂、非线性不可分任务上，使用精确梯度训练深层、循环与卷积脉冲网络？
• RQ5 事件驱动梯度计算的内存效率与传统脉冲网络反向传播相比如何？

主要发现

• EventProp 在连续时间脉冲神经网络中，对脉冲时间与膜电位的任意损失函数均可计算精确梯度。
• 该方法通过最优控制理论，无需近似或平滑处理即可实现通过脉冲不连续性的反向传播。
• 通过仅在脉冲时刻存储状态变量，显著降低内存使用，实现可扩展训练。
• EventProp 支持使用精确梯度训练深层、循环与卷积脉冲网络。
• 该方法在通过脉冲时间延迟编码的非线性不可分数据集上被验证有效，证实其在复杂学习任务中的可行性。
• 该框架具有通用性，可推广至漏电整合-放电模型之外的其他脉冲神经元模型。