[论文解读] A Free Lunch From ANN: Towards Efficient, Accurate Spiking Neural Networks Calibration

Yuhang Li, Shikuang Deng+3 more|arXiv (Cornell University)|Jun 13, 2021

Advanced Memory and Neural Computing参考文献 37被引用 50

一句话总结

论文提出 SNN 校准，一种逐层校准方法，将预训练的 ANN 转换为低延迟、准确的 SNN，数据预算较小，在 ImageNet 的 MobileNet 与 RegNet 上达到SNN 转换的最先进结果。

ABSTRACT

Spiking Neural Network (SNN) has been recognized as one of the next generation of neural networks. Conventionally, SNN can be converted from a pre-trained ANN by only replacing the ReLU activation to spike activation while keeping the parameters intact. Perhaps surprisingly, in this work we show that a proper way to calibrate the parameters during the conversion of ANN to SNN can bring significant improvements. We introduce SNN Calibration, a cheap but extraordinarily effective method by leveraging the knowledge within a pre-trained Artificial Neural Network (ANN). Starting by analyzing the conversion error and its propagation through layers theoretically, we propose the calibration algorithm that can correct the error layer-by-layer. The calibration only takes a handful number of training data and several minutes to finish. Moreover, our calibration algorithm can produce SNN with state-of-the-art architecture on the large-scale ImageNet dataset, including MobileNet and RegNet. Extensive experiments demonstrate the effectiveness and efficiency of our algorithm. For example, our advanced pipeline can increase up to 69% top-1 accuracy when converting MobileNet on ImageNet compared to baselines. Codes are released at https://github.com/yhhhli/SNN_Calibration.

研究动机与目标

• 通过解决 ANN 与 SNN 转换导致的激活不匹配，推动高效的 SNN 部署。
• 提出一个逐层校准框架，利用预训练的 ANN 产生准确、低延迟的 SNN。
• 分析转换误差组成及其传播，以设计有针对性的校准策略。
• 提供实用的流程（Light 与 Advanced），在准确性、数据需求与计算之间取得平衡。
• 展示对大规模架构（MobileNet、RegNetX-4GF）以及 ImageNet 规模任务的可扩展性。

提出的方法

• 将 ANN 到 SNN 的转换表述为在尖峰生成中的地板误差和截断误差的传播问题。
• 引入基于 MMSE 的自适应阈值，在跨时间步设定逐层 SNN 的阈值。
• 开发逐层校准算法，以调整偏置（Light Pipeline），并可选地调整初始膜电位和权重（Advanced Pipeline）。
• 通过整合 BN 吸收与池化到卷积的处理，处理 BN、AvgPool 以及转换特定组件。
• 提供两种实用流程（Light：仅偏置；Advanced：偏置、初始电位和权重）并进行数据预算下的校准。
• 使用确定性损失驱动的校准循环，在权重校准中利用直通估计实现梯度流动。

实验结果

研究问题

• RQ1 如何表征并在层之间界定 ANN-to-SNN 转换误差？
• RQ2 在极低时间步（≤256）下，是否存在一个最小、数据高效的校准方案以缩小 ANN 与 SNN 之间的激活差距？
• RQ3 在转换过程中哪种阈值策略最能平衡地板误差与截断误差，且 MMSE 在各层的表现如何？
• RQ4 Light 与 Advanced 校准流程在大模型与包含 BN 的架构上的权衡与实际收益为何？
• RQ5 BN、AvgPool 及其他常见层如何影响转换，能否被有效整合到校准中？

主要发现

• 自适应 MMSE 阈值比固定或极端阈值选择在短仿真长度下产生更低的转换误差。
• 偏置校准（Light Pipeline）在各种 BN 配置与阈值下均显著提升准确性，且内存开销较低。
• 潜力与权重校准（Advanced Pipeline）进一步提高准确性，在 ImageNet 的 VGG-16 与 MobileNet 上取得显著提升。
• 该方法在 T ≤ 256 时实现对 MobileNet 与 RegNetX-4GF 的高精度转换，优于若干基线方法。
• Advanced Pipeline 全部 WC 在显著降低端到端训练延迟的同时也可达到具竞争力的准确性。
• 能耗方面保持较高效率，出现稀疏放电并在神经形态硬件上实现显著能量节省（如 Spiking VGG-16 情况下相较于 ANN 节能 69.36%）。