[论文解读] Addressing the speed-accuracy simulation trade-off for adaptive spiking neurons

Luke Taylor, Andrew J. King+1 more|arXiv (Cornell University)|Nov 19, 2023

Neural dynamics and brain function被引用 5

一句话总结

该论文提出了一种自适应漏电脉冲发放（ALIF）脉冲神经元模型的算法重构，将顺序模拟复杂度从 O(T) 降低至 O(T/TR)，在保持高精度的同时，使训练速度提升最多 53 倍、推理速度提升最多 40 倍。通过利用绝对不应期（ARP），该方法实现了高效的 GPU 并行化，显著加速了具有亚毫秒时间分辨率的生物真实神经模型的训练与拟合。

ABSTRACT

The adaptive leaky integrate-and-fire (ALIF) model is fundamental within computational neuroscience and has been instrumental in studying our brains $ extit{in silico}$. Due to the sequential nature of simulating these neural models, a commonly faced issue is the speed-accuracy trade-off: either accurately simulate a neuron using a small discretisation time-step (DT), which is slow, or more quickly simulate a neuron using a larger DT and incur a loss in simulation accuracy. Here we provide a solution to this dilemma, by algorithmically reinterpreting the ALIF model, reducing the sequential simulation complexity and permitting a more efficient parallelisation on GPUs. We computationally validate our implementation to obtain over a $50 imes$ training speedup using small DTs on synthetic benchmarks. We also obtained a comparable performance to the standard ALIF implementation on different supervised classification tasks - yet in a fraction of the training time. Lastly, we showcase how our model makes it possible to quickly and accurately fit real electrophysiological recordings of cortical neurons, where very fine sub-millisecond DTs are crucial for capturing exact spike timing.

研究动机与目标

• 为解决在生物建模中需要精细时间步长（DT）时，自适应脉冲神经元模拟长期存在的速度-精度权衡问题。
• 降低 ALIF 神经元模拟的顺序计算复杂度，该复杂度目前限制了在 GPU 上的训练与推理速度。
• 实现使用亚毫秒 DT 对真实电生理记录进行快速、高精度拟合，这对于捕捉精确的放电时间至关重要。
• 开发一种在大幅降低训练与推理时间的同时保持模拟保真度的方法，尤其适用于大规模 SNN 和数据拟合任务。

提出的方法

• 通过在绝对不应期（ARP）长度 TR 上引入恒定的顺序复杂度 O(1)，重构 ALIF 模型，使总复杂度降低至 O(T/TR)，其中 T 为模拟长度。
• 利用神经元无法在 ARP 内再次放电的生物学约束，实现对不应期窗口之外时间步的并行处理。
• 使用 GPU 加速操作实现重构后的 ALIF 模型，支持神经元和层的高效批量处理。
• 采用替代梯度下降进行训练，确保与标准深度学习工作流兼容，同时实现显著的速度提升。
• 将 ARP 定义为可学习或固定的超参数，实现速度、精度与生物真实性的权衡。
• 使用合成基准、监督分类任务以及小鼠 V1 的真实皮层神经元记录对方法进行验证。

Figure 1: Problem overview. a. Schematic of an ALIF neuron: input current $I$ charges membrane potential $V$ and outputs spikes $S$ if firing threshold is reached (with the neuron’s internal state evolving over time). b. An example of the simulation trade-off problem when simulating a single ALIF ne

实验结果

研究问题

• RQ1 ALIF 神经元的顺序模拟复杂度是否可以在不牺牲模拟精度的前提下降低，尤其是在精细时间分辨率下？
• RQ2 利用绝对不应期是否能在 GPU 上显著提升脉冲神经网络的训练与推理速度？
• RQ3 重构后的 ALIF 模型是否能在将训练时间减少 50 倍以上的同时，实现与标准 ALIF 模型相当的分类性能？
• RQ4 该方法是否能够准确拟合具有亚毫秒时间分辨率的真实电生理记录，其中放电时间精确性至关重要？
• RQ5 ARP 长度的选择如何影响训练速度、模拟精度与生物合理性之间的权衡？

主要发现

• 所提方法在训练中实现了最高 53 倍的速度提升，在推理中实现了最高 40 倍的速度提升，同时在时间脉冲分类数据集上与标准 ALIF 模型保持相同的分类精度。
• 对于小鼠 V1 的真实皮层神经元记录，该方法在 DT = 0.1 ms 时实现了与标准模型相似的拟合质量（ETV ≈ 0.80），但将单个神经元的平均拟合时间从 108.4 秒减少至 15.5 秒。
• 即使使用大且非生理的 ARP 值（如 4 ms），该方法仍保持高精度，表明其在超参数调优中具有鲁棒性与灵活性。
• 当 DT 从 0.1 ms 增加到 4 ms 时，拟合精度显著下降（ETV 从 0.80 降至 0.66），但在固定 DT = 0.1 ms 时增加 ARP 值，精度保持稳定，证实了该方法对 ARP 变化的鲁棒性。
• 该模型能够以极低计算成本准确拟合 V1 神经元中异质的膜时间常数，表明视觉皮层中存在多时间尺度处理。

Figure 2: Solution overview . a. Our proposed solution: instead of simulating network dynamics one time step after another (top), we sequentially simulate blocks of time equal in length to the neuron ARP (bottom), in which a neuron can spike at most once. b. A schematic of a Block: our proposed solu