[论文解读] Gradient Descent for Spiking Neural Networks

Dongsung Huh, Terrence J. Sejnowski|arXiv (Cornell University)|Jun 14, 2017

Advanced Memory and Neural Computing参考文献 13被引用 36

一句话总结

本文提出了一种基于门函数作用于突触前膜电位导数的平滑、可微分突触电流模型，实现了脉冲神经网络的可微分建模，通过反向传播实现精确梯度计算。该方法成功训练了循环脉冲神经网络，以高精度解决毫秒级编码任务和秒级延迟记忆XOR任务，展示了基于脉冲计算的端到端监督学习能力。

ABSTRACT

Much of studies on neural computation are based on network models of static neurons that produce analog output, despite the fact that information processing in the brain is predominantly carried out by dynamic neurons that produce discrete pulses called spikes. Research in spike-based computation has been impeded by the lack of efficient supervised learning algorithm for spiking networks. Here, we present a gradient descent method for optimizing spiking network models by introducing a differentiable formulation of spiking networks and deriving the exact gradient calculation. For demonstration, we trained recurrent spiking networks on two dynamic tasks: one that requires optimizing fast (~millisecond) spike-based interactions for efficient encoding of information, and a delayed memory XOR task over extended duration (~second). The results show that our method indeed optimizes the spiking network dynamics on the time scale of individual spikes as well as behavioral time scales. In conclusion, our result offers a general purpose supervised learning algorithm for spiking neural networks, thus advancing further investigations on spike-based computation.

研究动机与目标

• 为解决由于脉冲的非可微性导致的脉冲神经网络缺乏高效监督学习算法的问题。
• 开发一种保持关键生物特性（如超阈值输入下突触电荷恒定）的可微分脉冲动力学建模方法。
• 实现对循环脉冲神经网络在脉冲发放时间与行为时间尺度上的基于梯度的优化。
• 在两个动态任务上验证该方法的有效性：快速脉冲基编码与延迟记忆XOR计算。

提出的方法

• 用基于门函数g(v)作用于突触前膜电位导数（g·dv/dt）的可微分模型替代阈值触发的突触电流，确保任何超阈值去极化均保持总电荷恒定。
• 将突触电流动力学定义为τ·ds/dt = -s + g·dv/dt，该模型推广了标准的阈值触发模型，支持平滑梯度计算。
• 将可微分突触模型与可微分神经元动力学（如QIF或NIF模型）耦合，将整个网络表述为具有可训练权重W、U、O和静息输入Io的连续时间动力系统。
• 通过微分连续时间网络方程，利用时间反向传播（BPTT）推导出精确梯度，实现端到端优化。
• 使用线性读出层（o = O·s）将突触电流映射到网络输出，损失函数定义为预测输出与目标输出之间的均方误差。
• 将该方法应用于训练循环网络完成两项任务：具有正弦输入的快速编码任务，以及具有可变事件间延迟的延迟记忆XOR任务。

实验结果

研究问题

• RQ1 可微分的脉冲网络建模是否能实现监督学习的精确梯度计算？
• RQ2 梯度下降能否在单个脉冲的毫秒时间尺度上优化网络动力学？
• RQ3 该方法能否在长时间跨度（秒级）内训练脉冲网络执行非线性计算？
• RQ4 该方法是否能在无需快速突触的情况下实现高效的脉冲时间基编码？
• RQ5 该方法能否推广到超越简单积分发放类型之外的生物真实神经元模型？

主要发现

• 该方法成功训练了一个30个神经元的脉冲网络，以高精度跟踪目标输出信号，实现了输入电流的紧密平衡与鲁棒的脉冲时间基编码。
• 最优循环权重矩阵W与理论预测W ≈ U·A·O高度一致，证实了该方法学习复杂动力学的能力。
• 网络在输入与启动信号间具有可变延迟的情况下成功解决了延迟记忆XOR任务，根据输入历史生成正确的输出脉冲（正、负或无）。
• 脉冲模式表现出持续且时变的活动，保留了输入历史信息，并对启动信号作出适当响应，表明在秒级时间尺度上实现了有效的记忆与计算。
• 该方法无需快速突触或额外的树突非线性，表明QIF神经元的内在动力学已足以完成任务。
• 梯度更新稀疏且集中在脉冲发生附近，类似于奖励调制的STDP，暗示了潜在的生物学合理性。