[논문 리뷰] Spiking Layer-Adaptive Magnitude-based Pruning

Junqiao Wang, Zhehang Ye외 1명|arXiv (Cornell University)|2026. 03. 16.

Advanced Memory and Neural Computing인용 수 0

한 줄 요약

SLAMP는 temporal 스파이킹 신경망에서 시간적 출력 왜곡을 모델링하여 계층 적응형 크기 가지치기를 확장함으로써 정확도와 시간적 충실도를 보존하면서 공격적으로 가지치기를 가능하게 한다.

ABSTRACT

Spiking Neural Networks (SNNs) provide energy-efficient computation but their deployment is constrained by dense connectivity and high spiking operation costs. Existing magnitude-based pruning strategies, when naively applied to SNNs, fail to account for temporal accumulation, non-uniform timestep contributions, and membrane stability, often leading to severe performance degradation. This paper proposes Spiking Layer-Adaptive Magnitude-based Pruning (SLAMP), a theory-guided pruning framework that generalizes layer-adaptive magnitude pruning to temporal SNNs by explicitly controlling worst-case output distortion across layers and timesteps. SLAMP formulates sparsity allocation as a temporal distortion-constrained optimization problem, yielding time-aware layer importance scores that reduce to conventional layer-adaptive pruning in single-timestep limit. An efficient two-stage procedure is derived, combining temporal score estimation, global sparsity allocation, and magnitude pruning with retraining for stability recovery. Experiments on CIFAR10, CIFAR100, and the event-based CIFAR10-DVS datasets demonstrate that SLAMP achieves substantial connectivity and spiking operation reductions while preserving accuracy, enabling efficient and deployable SNN inference.

연구 동기 및 목표

• 에너지 효율적인 SNN 배치를 위해 시간적 충실도를 해치지 않으면서 연결성 및 스파이크 연산을 감소시킨다.
• 시간 축적을 고려하여 Layer-Adaptive Magnitude-based Pruning (LAMP)을 시간적 SNN에 확장한다.
• 가지치기 하에서의 최악의 경우 시간 출력 왜곡을 한정하는 이론적 프레임워크를 제시한다.
• 안정성 회복이 가능한 효율적이 two-stage 가지치기 및 재학습 파이프라인을 개발한다.

제안 방법

• 시간 축 왜곡–제약 가지치기 목표를 정의하고 T 시간 스텝 전반의 기여를 모아 정의한다(Eq. 3).
• 누적 출력 왜곡을 한정하기 위한 저 왜곡 가지치기 예산 제약을 정의한다(Eq. 4).
• 누적 시냅전 활동을 반영하는 시간 인지 계층 중요도 점수 R^i를 계산한다(Eq. 3).
• 왜곡 제약하에서 가지치기 마스크 M^i 및 가지치기 가중치 f6W^i를 도출한다(Eq. 5 & 6).
• 반복적 가지치기–재학습 사이클을 제공한다: 수렴할 때까지 학습하고, 시간 점수로 가지치고, 막전 안정성을 회복하기 위해 미세 조정한다(Algorithm 1).
• 단일 타임스텝 한계에서 R^i가 표준 LAMP로 축소되는 것을 보인다(Eq. 8).

실험 결과

연구 질문

• RQ1 SNN에서 시간 왜곡을 명시적으로 제어하도록 가지치기를 어떻게 수식화할 수 있는가?
• RQ2 시간 인지 계층 중요도 점수가 전역적으로 희소하고 메모리 효율적인 SNN을 가능하게 하면서 시간적 충실도를 잃지 않을 수 있는가?
• RQ3 정적 및 이벤트 기반 데이터셋에서 시간 가지치기가 정확도, 연결성 및 스파이크 연산 수에 미치는 영향은 무엇인가?
• RQ4 협격적 희소성 하에서 두 단계의 가지치기-미세조정 워크플로우가 안정적이고 배치 가능한 SNN을 제공하는가?

주요 결과

데이터셋	가지치기 방법	아키텍처	T	Acc. Diff(%)	Top-1 Acc.(%)	Conn.(%)	Param. (M)	SOPs (M)
CIFAR10	ADMM	7 Conv, 2 FC	8	-0.13	90.19	25.03	15.54	-
CIFAR10	Grad R	6 Conv, 2 FC	8	-0.30	92.54	36.72	10.43	-
CIFAR10	ESLSNN	ResNet19	2	-1.70	91.09	50.00	6.30	180.56
CIFAR10	STDS	6 Conv, 2 FC	8	-0.35	92.49	11.33	1.71	147.22
CIFAR10	UPR	6 Conv, 2 FC	8	-0.79	92.05	1.16	9.56	16.47
CIFAR10	SLAMP (Ours)	ResNet19	2	+1.23	92.42	40.00	4.47	112.35
CIFAR100	ESLSNN	ResNet19	2	-0.99	73.48	50.00	6.32	186.25
CIFAR100	UPR	SEW ResNet18	4	-4.75	69.41	2.48	-	6.79
CIFAR100	SLAMP (Ours)	ResNet19	2	+0.73	69.85	25.00	4.47	115.72
CIFAR10-DVS	ESLSNN	VGGSNN	10	-0.28	78.30	10.00	0.92	129.64
CIFAR10-DVS	STDS	VGGSNN	10	-2.60	79.80	4.67	0.24	38.85
CIFAR10-DVS	UPR	VGGSNN	10	-0.50	78.30	0.77	1.81	6.75
CIFAR10-DVS	SLAMP (Ours)	VGGSNN	5	+0.09	78.21	40.00	3.60	105.45

• SLAMP는 CIFAR10, CIFAR100 및 CIFAR10-DVS에서 상당한 연결성 및 스파이크 연산 감소를 달성한다.
• CIFAR10에서 40% 연결성에서 Top-1 정확도 +1.23% 향상을 얻는다.
• CIFAR100에서 연결성 감소로 정확도를 유지하며 69.85% Top-1에서 0.73% 이득을 얻는다(25% 연결성).
• CIFAR10-DVS에서 이벤트 기반 정확도를 40% 연결성으로 유지하며 Top-1 +0.09%를 달성한다.
• 가지치기 후 미세조정은 특히 낮은 연결성에서 정확도와 막전 분산을 크게 개선한다.
• 최종 라운드에서 연결성을 10% 이하로 줄이면서도 시간적 충실도를 유지한다.