[论文解读] SEENN: Towards Temporal Spiking Early-Exit Neural Networks

Yuhang Li, Tamar Geller+2 more|arXiv (Cornell University)|Apr 2, 2023

Advanced Memory and Neural Computing被引用 12

一句话总结

SEENN 提出在脉冲神经网络（SNNs）中实现输入条件的时序早退出，具有 SEENN-I 基于置信度的出口和 SEENN-II 强化学习出口，在 CIFAR、ImageNet 及相关数据集上以远少于平均时步数实现最先进的准确率，且适用于直接训练和 ANN-SNN 转换。

ABSTRACT

Spiking Neural Networks (SNNs) have recently become more popular as a biologically plausible substitute for traditional Artificial Neural Networks (ANNs). SNNs are cost-efficient and deployment-friendly because they process input in both spatial and temporal manner using binary spikes. However, we observe that the information capacity in SNNs is affected by the number of timesteps, leading to an accuracy-efficiency tradeoff. In this work, we study a fine-grained adjustment of the number of timesteps in SNNs. Specifically, we treat the number of timesteps as a variable conditioned on different input samples to reduce redundant timesteps for certain data. We call our method Spiking Early-Exit Neural Networks (SEENNs). To determine the appropriate number of timesteps, we propose SEENN-I which uses a confidence score thresholding to filter out the uncertain predictions, and SEENN-II which determines the number of timesteps by reinforcement learning. Moreover, we demonstrate that SEENN is compatible with both the directly trained SNN and the ANN-SNN conversion. By dynamically adjusting the number of timesteps, our SEENN achieves a remarkable reduction in the average number of timesteps during inference. For example, our SEENN-II ResNet-19 can achieve 96.1% accuracy with an average of 1.08 timesteps on the CIFAR-10 test dataset. Code is shared at https://github.com/Intelligent-Computing-Lab-Yale/SEENN.

研究动机与目标

• 通过将时步条件化以输入难度来推动在不牺牲准确性的情况下减少 SNNs 的时步。
• 将 SEENN 作为 SNNs 的尖峰早退出框架，并演示两种退出策略。
• 展示 SEENN 与直接训练的 SNN 和 ANN-SNN 转换的兼容性。
• 在标准视觉数据集上提供实证证据，表明 SEENN 提升了精度-效率权衡。

提出的方法

• 对每个输入建模具有可变时步数 T 的 SNN， enable 在时间维度上实现早退出。
• 定义 SEENN-I：使用置信度分数阈值来判定何时输出预测。
• 定义 SEENN-II：通过强化学习学习一个时步选择策略，以在保持准确性的同时最小化时步。
• 在 SEENN-II 中，训练一个小型策略网络在候选时步之间输出一个一热选择，并用策略梯度进行优化。
• 用 Temporal Efficient Training (TET) 损失训练 SEENN 以改善逐时步的预测，并可在 SEENN-II 中可选地联合训练策略。
• 在直接训练和 ANN-SNN 转换设置下，对 CIFAR-10/100、ImageNet 和 CIFAR10-DVS 进行评估。

实验结果

研究问题

• RQ1 按样本调整时步是否能在不损害准确性的前提下降低 SNN 的平均推理时间？
• RQ2 基于置信度阈值和基于 RL 的策略是否在不同数据集和结构上提供有效的早退出机制？
• RQ3 SEENN 是否与直接训练的 SNN 和 ANN-SNN 转换兼容，在每种设定下有哪些性能提升？
• RQ4 SEENN 如何影响硬件指标，如 SNN 推理的潜在延迟和能耗？

主要发现

• SEENN-I 在 CIFAR-10 上实现 96.07% 的准确率，平均时步数为 1.09（相比基线的较高时步）。
• SEENN-I 在 CIFAR-10 上达到 96.38% 的准确率，平均时步数为 1.20，在 1.34 时步时达到 96.44%，这表明在少量时步下具有较强的准确性。
• SEENN-II 在 CIFAR-10/ResNet-19 变体上使用约 1.08–1.21 个时步达到可比的 CIFAR-10 性能，在某些情况下甚至可在 CIFAR-100 上超过 SEENN-I（例如在 CIFAR-100 上高出 0.7% 的准确率）。
• 在 ImageNet 上，SEENN-I 可以在显著更少的时步下达到类似的准确性（例如 ResNet-34：2.28–2.35 个时步在直接训练下实现约 63.6%–63.65% 的准确率；SEENN-II 进一步将 T 降至大约 1.79–1.79–2.40，具体取决于设置）。
• 对于 CIFAR10-DVS，SEENN-I 以大约 2.5 个时步超越大多数基线，SEENN-II 在大约 4.5 个时步时达到约 82.6% 的准确率。
• SEENN 演示了与 ANN-SNN 转换的兼容性，在较少的时步下相比现有转换方法提供更高的准确率（例如 CIFAR-10 使用 1.4 个时步达到 93.63% ，而基线转换方法为 75.44%）。
• SEENN 可以通过提升吞吐量和降低能耗来提高硬件效率，其中 SEENN-I 在 GPU 实验中实现了速度和能耗的同时提升。