[论文解读] Comprehensive SNN Compression Using ADMM Optimization and Activity Regularization

Lei Deng, Yujie Wu+7 more|arXiv (Cornell University)|Nov 3, 2019

Advanced Memory and Neural Computing参考文献 58被引用 13

一句话总结

本文提出了一种综合的脉冲神经网络（SNN）压缩框架，结合基于ADMM的优化方法进行连接剪枝与权重量化，并引入活动正则化以减少动态脉冲事件。在MNIST数据集上实现了高达98.59%的准确率，对应25%的稀疏度和3比特权重，首次对所有主要SNN压缩组件进行了统一研究，并提供了量化指标，性能优于先前方法。

ABSTRACT

As well known, the huge memory and compute costs of both artificial neural networks (ANNs) and spiking neural networks (SNNs) greatly hinder their deployment on edge devices with high efficiency. Model compression has been proposed as a promising technique to improve the running efficiency via parameter and operation reduction. Whereas, this technique is mainly practiced in ANNs rather than SNNs. It is interesting to answer how much an SNN model can be compressed without compromising its functionality, where two challenges should be addressed: i) the accuracy of SNNs is usually sensitive to model compression, which requires an accurate compression methodology; ii) the computation of SNNs is event-driven rather than static, which produces an extra compression dimension on dynamic spikes. To this end, we realize a comprehensive SNN compression through three steps. First, we formulate the connection pruning and weight quantization as a constrained optimization problem. Second, we combine spatio-temporal backpropagation (STBP) and alternating direction method of multipliers (ADMM) to solve the problem with minimum accuracy loss. Third, we further propose activity regularization to reduce the spike events for fewer active operations. These methods can be applied in either a single way for moderate compression or a joint way for aggressive compression. We define several quantitative metrics to evaluation the compression performance for SNNs. Our methodology is validated in pattern recognition tasks over MNIST, N-MNIST, CIFAR10, and CIFAR100 datasets, where extensive comparisons, analyses, and insights are provided. To our best knowledge, this is the first work that studies SNN compression in a comprehensive manner by exploiting all compressible components and achieves better results.

研究动机与目标

• 解决尽管边缘部署需求日益增长，但系统性SNN压缩技术仍显不足的问题。
• 应对SNN对压缩高度敏感以及事件驱动计算动态带来的双重挑战。
• 开发一个统一框架，联合优化连接剪枝、权重量化与脉冲活动减少。
• 建立量化指标，用于评估SNN压缩在内存、计算操作与脉冲效率方面的性能。
• 证明联合压缩优于单一方法，在准确率与效率方面表现更优。

提出的方法

• 利用ADMM将SNN连接剪枝与权重量化建模为约束优化问题。
• 将时空反向传播（STBP）与ADMM结合，实现网络结构与权重的联合优化，同时最小化准确率损失。
• 引入活动正则化以最小化脉冲事件，降低事件驱动SNN中的活跃计算操作。
• 根据应用需求，支持单方法（中等压缩）与联合方法（高强度压缩）的部署。
• 定义三种压缩指标：内存减少率（R_mem）、脉冲减少率（R_s）与整体操作减少率（R_ops）用于评估。
• 在MNIST、N-MNIST、CIFAR10与CIFAR100上应用该框架，以验证其泛化性与鲁棒性。

实验结果

研究问题

• RQ1 如何系统性地统一SNN压缩中的剪枝、量化与脉冲活动减少？
• RQ2 各压缩组件（剪枝、量化、正则化）对内存与脉冲减少的相对贡献如何？
• RQ3 联合压缩与单方法压缩在准确率与效率方面相比如何？
• RQ4 在不同压缩比率下，SNN中内存节省与脉冲减少之间的权衡关系如何？
• RQ5 SNN压缩性能在静态数据集（MNIST）与动态数据集（N-MNIST）之间有何差异？

主要发现

• 权重量化对内存减少（R_mem）贡献最大，而活动正则化对脉冲减少（R_s）贡献最大。
• R_mem与R_s之间存在权衡关系，而R_ops可作为压缩后准确率的可靠代理指标。
• 对多个组件进行联合压缩时，准确率损失显著低于对单一组件进行高强度压缩的情况。
• SNN对权重量化表现出强健性，在3比特精度下仍能保持高准确率。
• 在事件驱动数据集（如N-MNIST）上，低压缩下准确率下降更明显，但在高强度压缩下能实现良好恢复。
• 所提出的直接SNN压缩方法在MNIST上实现了98.59%的准确率，对应25%稀疏度与3比特权重，优于ANN转SNN转换方法，除非时间窗口T极大（例如T=1000）。