[论文解读] Training Energy-Efficient Deep Spiking Neural Networks with Time-to-First-Spike Coding

Seongsik Park, Sungroh Yoon|arXiv (Cornell University)|Jun 4, 2021

Advanced Memory and Neural Computing参考文献 43被引用 5

一句话总结

本文提出一种基于时间到首次放电（TTFS）编码的深度脉冲神经网络（SNN）训练框架，以实现高能效。通过引入具有随机松弛激活的代理DNN模型、时间核正则化以及时间核感知的批量归一化，该方法在保持CIFAR-10上具有竞争力准确率（仅2%准确率下降）的同时，相比最先进TTFS编码方法，将脉冲数量减少了高达77%。

ABSTRACT

The tremendous energy consumption of deep neural networks (DNNs) has become a serious problem in deep learning. Spiking neural networks (SNNs), which mimic the operations in the human brain, have been studied as prominent energy-efficient neural networks. Due to their event-driven and spatiotemporally sparse operations, SNNs show possibilities for energy-efficient processing. To unlock their potential, deep SNNs have adopted temporal coding such as time-to-first-spike (TTFS)coding, which represents the information between neurons by the first spike time. With TTFS coding, each neuron generates one spike at most, which leads to a significant improvement in energy efficiency. Several studies have successfully introduced TTFS coding in deep SNNs, but they showed restricted efficiency improvement owing to the lack of consideration for efficiency during training. To address the aforementioned issue, this paper presents training methods for energy-efficient deep SNNs with TTFS coding. We introduce a surrogate DNN model to train the deep SNN in a feasible time and analyze the effect of the temporal kernel on training performance and efficiency. Based on the investigation, we propose stochastically relaxed activation and initial value-based regularization for the temporal kernel parameters. In addition, to reduce the number of spikes even further, we present temporal kernel-aware batch normalization. With the proposed methods, we could achieve comparable training results with significantly reduced spikes, which could lead to energy-efficient deep SNNs.

研究动机与目标

• 解决尽管深度脉冲神经网络（SNNs）具备事件驱动、稀疏计算潜力，但其能效仍受限的问题。
• 克服现有方法在TTFS编码SNN训练中未考虑能效的挑战，即在反向传播过程中忽略能量效率。
• 开发一种可扩展、可微分的训练框架，实现对使用TTFS编码的深度SNN的直接训练，同时最小化脉冲数量。
• 在显著减少脉冲活动的前提下实现高推理准确率，以最大化神经形态硬件上的能效。

提出的方法

• 提出一种计算高效的代理DNN模型，其在脉冲时间域中运行，采用截断且量化后的激活，以在固定时间窗口内模拟TTFS编码。
• 引入随机松弛激活，以缓解反向传播过程中时间核参数的梯度消失问题。
• 对时间核参数应用基于初始值的正则化，以稳定训练并减少脉冲生成。
• 设计时间核感知的批量归一化，使其根据时间核结构自适应调整归一化策略，进一步减少脉冲数量。
• 在代理模型上使用随机梯度下降（SGD）训练SNN，实现端到端反向传播，结合可微分近似。
• 将训练好的代理模型映射到具有IF神经元和TTFS编码的真实SNN中用于推理，同时保持低脉冲活动。

实验结果

研究问题

• RQ1 如何以高准确率并最小化脉冲数量的方式训练使用TTFS编码的深度SNN，以实现能效优化？
• RQ2 在基于TTFS的SNN训练中，时间核参数的梯度消失问题的主要原因是什么？如何有效缓解？
• RQ3 时间核正则化在TTFS编码SNN中的训练稳定性和脉冲效率方面有何影响？
• RQ4 时间核感知的批量归一化在不降低模型准确率的前提下，能在多大程度上减少脉冲数量？
• RQ5 与现有使用速率、相位、脉冲串或TSC编码的SNN训练方法相比，所提出的训练框架在能效和准确率方面表现如何？

主要发现

• 该方法在CIFAR-10上实现了每样本27.80个脉冲，相比先前TTFS研究（29.94个脉冲）减少了30%，且准确率相近。
• 脉冲率降低至0.03%，仅为TSC的24%和先前TTFS方法的89%，表明激活更加稀疏。
• 稀疏度（每神经元平均脉冲数）为17%，仅为TSC的25%和先前TTFS方法的71%，证实了时间效率的显著提升。
• 能量消耗估计相比TSC降低54%，相比先前TTFS方法降低77%，展现出显著的能效优势。
• 尽管在CIFAR-10上准确率下降2%（本工作为65.98%，先前TTFS工作为68.79%），但脉冲数量显著减少，优先保障了能效。
• 通过随机松弛激活和时间核正则化，该方法维持了稳定的训练过程，实现了TTFS模式下的有效反向传播。