[论文解读] Spiking Layer-Adaptive Magnitude-based Pruning

Junqiao Wang, Zhehang Ye+1 more|arXiv (Cornell University)|Mar 16, 2026

Advanced Memory and Neural Computing被引用 0

一句话总结

SLAMP 将面向时间的输出失真建模引入层自适应幅值剪枝，能够在保持准确性与时间保真度的前提下进行更积极的剪枝。

ABSTRACT

Spiking Neural Networks (SNNs) provide energy-efficient computation but their deployment is constrained by dense connectivity and high spiking operation costs. Existing magnitude-based pruning strategies, when naively applied to SNNs, fail to account for temporal accumulation, non-uniform timestep contributions, and membrane stability, often leading to severe performance degradation. This paper proposes Spiking Layer-Adaptive Magnitude-based Pruning (SLAMP), a theory-guided pruning framework that generalizes layer-adaptive magnitude pruning to temporal SNNs by explicitly controlling worst-case output distortion across layers and timesteps. SLAMP formulates sparsity allocation as a temporal distortion-constrained optimization problem, yielding time-aware layer importance scores that reduce to conventional layer-adaptive pruning in single-timestep limit. An efficient two-stage procedure is derived, combining temporal score estimation, global sparsity allocation, and magnitude pruning with retraining for stability recovery. Experiments on CIFAR10, CIFAR100, and the event-based CIFAR10-DVS datasets demonstrate that SLAMP achieves substantial connectivity and spiking operation reductions while preserving accuracy, enabling efficient and deployable SNN inference.

研究动机与目标

• 通过在不牺牲时间保真度的前提下 reducing connectivity 与 spike operations 实现 SNN 的能效部署
• 将 Layer-Adaptive Magnitude-based Pruning (LAMP) 扩展到时序 SNN，考虑时间累积效应
• 提出一个理论框架，在剪枝下对最坏情况的时序输出失真进行界定
• 开发一个高效的两阶段剪枝与再训练流程，并具备稳定性恢复能力

提出的方法

• 提出一个在 T 个时间步内聚合贡献的时序失真约束剪枝目标函数（Eq. 3）
• 定义一个低失真剪枝预算约束以界定累积的输出扰动（Eq. 4）
• 计算时间感知的层重要性分数 R^i，反映累积的前突触活动（Eq. 3）
• 在失真约束下推导剪枝掩码 M^i 与被剪枝权重 f6W^i（Eq. 5 与 6）
• 提供一个迭代的剪枝–再训练循环：训练收敛后按时间分数剪枝，再细调以恢复膜稳定性（Algorithm 1）
• 证明在单时间步极限下，R^i 收敛为标准 LAMP（Eq. 8）

实验结果

研究问题

• RQ1 如何将剪枝公式化以显式控制 SNNs 的时序失真？
• RQ2 时间感知的层重要性分数是否能够实现全局稀疏、内存高效的 SNN 而不损失时序保真？
• RQ3 时序剪枝对静态与事件驱动数据集的准确性、连通性和尖峰操作次数有何影响？
• RQ4 两阶段剪枝-微调工作流是否能够在强剪枝下产出稳定、可部署的 SNN？

主要发现

数据集	剪枝方法	体系结构	T	Acc. Diff(%)	Top-1 Acc.(%)	Conn.(%)	Param. (M)	SOPs (M)
CIFAR10	ADMM	7 Conv, 2 FC	8	-0.13	90.19	25.03	15.54	-
CIFAR10	Grad R	6 Conv, 2 FC	8	-0.30	92.54	36.72	10.43	-
CIFAR10	ESLSNN	ResNet19	2	-1.70	91.09	50.00	6.30	180.56
CIFAR10	STDS	6 Conv, 2 FC	8	-0.35	92.49	11.33	1.71	147.22
CIFAR10	UPR	6 Conv, 2 FC	8	-0.79	92.05	1.16	9.56	16.47
CIFAR10	SLAMP (Ours)	ResNet19	2	+1.23	92.42	40.00	4.47	112.35
CIFAR100	ESLSNN	ResNet19	2	-0.99	73.48	50.00	6.32	186.25
CIFAR100	UPR	SEW ResNet18	4	-4.75	69.41	2.48	-	6.79
CIFAR100	SLAMP (Ours)	ResNet19	2	+0.73	69.85	25.00	4.47	115.72
CIFAR10-DVS	ESLSNN	VGGSNN	10	-0.28	78.30	10.00	0.92	129.64
CIFAR10-DVS	STDS	VGGSNN	10	-2.60	79.80	4.67	0.24	38.85
CIFAR10-DVS	UPR	VGGSNN	10	-0.50	78.30	0.77	1.81	6.75
CIFAR10-DVS	SLAMP (Ours)	VGGSNN	5	+0.09	78.21	40.00	3.60	105.45

• SLAMP 在 CIFAR10、CIFAR100 与 CIFAR10-DVS 上实现了显著的连通性和尖峰操作减少。
• 在 CIFAR10 上，剪枝到 40% 连通性时，SLAMP 的 Top-1 准确率提升了 +1.23%。
• 在 CIFAR100 上，在 25% 连通性下达到 69.85% 的 Top-1 时保持精度并实现 0.73% 的增益（在 69.85% Top-1）。
• 在 CIFAR10-DVS 上，SLAMP 以 40% 连通性保持事件驱动的准确性（+0.09% Top-1）。
• 剪枝后进行微调显著提升准确性并降低膜方差，尤其是在低连通性时。
• 该方法在最终轮次将连通性降低到 10% 或更低，同时保持时序保真度。