[論文レビュー] Spiking Layer-Adaptive Magnitude-based Pruning

Junqiao Wang, Zhehang Ye+1 more|arXiv (Cornell University)|Mar 16, 2026

Advanced Memory and Neural Computing被引用数 0

ひとこと要約

SLAMP は時間的出力歪みをモデル化することで層適応型振幅剪定を時系列スパイキングニューラルネットワークに拡張し、精度と時間忠実度を保ちながら積極的な剪定を実現する。

ABSTRACT

Spiking Neural Networks (SNNs) provide energy-efficient computation but their deployment is constrained by dense connectivity and high spiking operation costs. Existing magnitude-based pruning strategies, when naively applied to SNNs, fail to account for temporal accumulation, non-uniform timestep contributions, and membrane stability, often leading to severe performance degradation. This paper proposes Spiking Layer-Adaptive Magnitude-based Pruning (SLAMP), a theory-guided pruning framework that generalizes layer-adaptive magnitude pruning to temporal SNNs by explicitly controlling worst-case output distortion across layers and timesteps. SLAMP formulates sparsity allocation as a temporal distortion-constrained optimization problem, yielding time-aware layer importance scores that reduce to conventional layer-adaptive pruning in single-timestep limit. An efficient two-stage procedure is derived, combining temporal score estimation, global sparsity allocation, and magnitude pruning with retraining for stability recovery. Experiments on CIFAR10, CIFAR100, and the event-based CIFAR10-DVS datasets demonstrate that SLAMP achieves substantial connectivity and spiking operation reductions while preserving accuracy, enabling efficient and deployable SNN inference.

研究の動機と目的

• SNN のエネルギー効率的デプロイを動機付け、時間忠実度を損なうことなく接続性とスパイク操作を削減する。
• 時間の蓄積を考慮して層適応型振幅ベース剪定（LAMP）を時間SNNへ拡張する。
• 剪定下で最悪ケースの時間的出力歪みを境界付ける理論的枠組みを提案する。
• 安定性回復を含む効率的な2段階剪定と再訓練パイプラインを開発する。

提案手法

• 時間歪み制約付き剪定目的を定式化し、T ステップ全体の寄与を集約する（式(Eq. 3)）。
• 蓄積出力撓みを境界付ける低歪み剪定予算制約を定義する（式(Eq. 4)。
• 蓄積された前シナプス活動を反映する時間認識層重要度スコア R^i を計算する（式(Eq. 3)）。
• 歪み制約の下で剪定マスク M^i と剪定後重み W^i を導出する（式(Eq. 5) & (Eq. 6)）。
• 反復的な剪定–再訓練サイクルを提供する：収束まで訓練、時間スコアで剪定、膜安定性を回復するファインチューニング（アルゴリズム1）。
• 単一タイムステップ制限では R^i が標準の LAMP に退化することを示す（式(Eq. 8)）。

実験結果

リサーチクエスチョン

• RQ1 SNN において時間的歪みを明示的に制御する剪定をどう定式化できるか？
• RQ2 時間認識層重要度スコアは、時間忠実度を失うことなく globally sparse でメモリ効率の高い SNN を可能にするか？
• RQ3 時間的剪定が静的・イベント駆動データセットでの精度、接続性、スパイク操作数に与える影響は？
• RQ4 攻撃的な sparsity 下で安定してデプロイ可能な2段階剪定とファインチューニングワークフローは有効か？

主な発見

Dataset	Pruning Method	Architecture	T	Acc. Diff(%)	Top-1 Acc.(%)	Conn.(%)	Param. (M)	SOPs (M)
CIFAR10	ADMM	7 Conv, 2 FC	8	-0.13	90.19	25.03	15.54	-
CIFAR10	Grad R	6 Conv, 2 FC	8	-0.30	92.54	36.72	10.43	-
CIFAR10	ESLSNN	ResNet19	2	-1.70	91.09	50.00	6.30	180.56
CIFAR10	STDS	6 Conv, 2 FC	8	-0.35	92.49	11.33	1.71	147.22
CIFAR10	UPR	6 Conv, 2 FC	8	-0.79	92.05	1.16	9.56	16.47
CIFAR10	SLAMP (Ours)	ResNet19	2	+1.23	92.42	40.00	4.47	112.35
CIFAR100	ESLSNN	ResNet19	2	-0.99	73.48	50.00	6.32	186.25
CIFAR100	UPR	SEW ResNet18	4	-4.75	69.41	2.48	-	6.79
CIFAR100	SLAMP (Ours)	ResNet19	2	+0.73	69.85	25.00	4.47	115.72
CIFAR10-DVS	ESLSNN	VGGSNN	10	-0.28	78.30	10.00	0.92	129.64
CIFAR10-DVS	STDS	VGGSNN	10	-2.60	79.80	4.67	0.24	38.85
CIFAR10-DVS	UPR	VGGSNN	10	-0.50	78.30	0.77	1.81	6.75
CIFAR10-DVS	SLAMP (Ours)	VGGSNN	5	+0.09	78.21	40.00	3.60	105.45

• SLAMP は CIFAR10, CIFAR100, CIFAR10-DVS で substantial な接続性とスパイキング操作の削減を達成。
• CIFAR10 において 40% の接続性で Top-1 精度が +1.23% 改善。
• CIFAR100 では 接続性を減らしつつ精度を維持（25% 接続で Top-1 が +0.73%、69.85%）
• CIFAR10-DVS では 40% 接続性でイベント駆動精度を維持（Top-1 +0.09%）。
• 剪定後のファインチューニングにより精度が大幅に改善され、特に低接続性で膜電位の分散が抑制される。
• 最終盤で接続性を 10% 以下に減らしつつ時間忠実度を保つ。