[论文解读] ESL-SNNs: An Evolutionary Structure Learning Strategy for Spiking Neural Networks

Jiangrong Shen, Qi Xu+4 more|arXiv (Cornell University)|Jun 6, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

该论文提出ESL-SNNs，一种受生物学启发的进化结构学习框架，通过在训练过程中动态剪枝和再生突触连接，实现了从零开始的脉冲神经网络稀疏训练。该方法在仅损失0.28%准确率（连接密度为10%时）的情况下达到最先进性能，同时显著降低内存和能耗，从而弥合了稀疏训练与密集训练之间的表达能力差距。

ABSTRACT

Spiking neural networks (SNNs) have manifested remarkable advantages in power consumption and event-driven property during the inference process. To take full advantage of low power consumption and improve the efficiency of these models further, the pruning methods have been explored to find sparse SNNs without redundancy connections after training. However, parameter redundancy still hinders the efficiency of SNNs during training. In the human brain, the rewiring process of neural networks is highly dynamic, while synaptic connections maintain relatively sparse during brain development. Inspired by this, here we propose an efficient evolutionary structure learning (ESL) framework for SNNs, named ESL-SNNs, to implement the sparse SNN training from scratch. The pruning and regeneration of synaptic connections in SNNs evolve dynamically during learning, yet keep the structural sparsity at a certain level. As a result, the ESL-SNNs can search for optimal sparse connectivity by exploring all possible parameters across time. Our experiments show that the proposed ESL-SNNs framework is able to learn SNNs with sparse structures effectively while reducing the limited accuracy. The ESL-SNNs achieve merely 0.28% accuracy loss with 10% connection density on the DVS-Cifar10 dataset. Our work presents a brand-new approach for sparse training of SNNs from scratch with biologically plausible evolutionary mechanisms, closing the gap in the expressibility between sparse training and dense training. Hence, it has great potential for SNN lightweight training and inference with low power consumption and small memory usage.

研究动机与目标

• 解决SNN训练过程中因参数冗余导致的高功耗与高内存占用问题。
• 开发一种生物可解释的稀疏结构学习框架，实现真正的从零开始稀疏训练，而非从密集模型微调。
• 通过在时间维度上动态探索突触连接，提升稀疏SNN训练的表达能力。
• 通过从初始化即保持结构稀疏性，显著降低训练与推理过程中的能耗与内存开销。
• 通过进化连接优化，弥合稀疏与密集SNN训练之间的性能差距。

提出的方法

• ESL-SNNs框架采用Erdős–Rényi随机图初始化SNN，建立具有固定连接概率的稀疏基线。
• 在训练过程中，每T_iter次迭代后根据预设的剪枝与生长规则动态剪枝和再生突触连接，以维持目标结构稀疏度。
• 突触权重通过全局学习规则在每次训练迭代中更新，而结构变化则通过受大脑突触重连启发的进化机制独立进行。
• 该框架支持多种生长与剪枝规则，包括SET剪枝和基于动量的增长规则，以引导最优稀疏连接结构的演化。
• 该方法实现了从初始化即具备稀疏拓扑的SNN端到端训练，避免了在密集架构上预训练的需求。
• 该框架兼容多种SNN架构，包括前馈网络与卷积网络，并支持不同连接密度水平。

实验结果

研究问题

• RQ1 能否使用一种生物可解释的进化机制，模拟大脑中的突触重连，实现从零开始的稀疏SNN训练？
• RQ2 在训练过程中动态剪枝与再生突触连接，如何影响最终模型的准确率与稀疏度水平？
• RQ3 不同剪枝与生长规则对稀疏SNN训练的稳定性与表达能力有何影响？
• RQ4 与密集SNN相比，ESL-SNNs在保持竞争力准确率的同时，能在多大程度上减少参数量与能耗？
• RQ5 所提出的框架能否在模型表达能力方面弥合稀疏与密集SNN训练之间的性能差距？

主要发现

• 在DVS-Cifar10数据集上，ESL-SNNs在10%连接密度下仅损失0.28%准确率，展现出极高的效率与极小的性能退化。
• 在50%连接密度下，ESL-SNNs在Cifar10上达到91.09%准确率，在Cifar100上达到73.48%，参数量约为628万个，表现出在降低复杂度的同时仍具备强大性能。
• 采用SET剪枝与基于动量的增长规则的模型在不同密度水平下表现最稳定，即使在1%密度下（准确率损失14.08%）仍保持较高准确率。
• 该框架实现了从零开始的稀疏训练，与密集SNN相比，在训练与推理过程中显著降低了内存使用与功耗。
• 在DVS-Cifar10上，ESL-SNNs在连接数更少的情况下，性能优于或匹配最先进模型TET与LIAF-Net，测试准确率达到78.3%。
• 突触连接的动态演化实现了对参数空间的有效探索，增强了稀疏训练的表达能力，并具备实现片上学习的潜力。