[论文解读] AutoSNN: Towards Energy-Efficient Spiking Neural Networks

Byunggook Na, Jisoo Mok+4 more|arXiv (Cornell University)|Jan 30, 2022

Advanced Memory and Neural Computing被引用 25

一句话总结

AutoSNN 引入一个 spike-aware 神经架构搜索，用于设计在准确性和尖峰计数之间取得平衡的能效 SNN，在多个数据集上比手工设计获得更好性能。

ABSTRACT

Spiking neural networks (SNNs) that mimic information transmission in the brain can energy-efficiently process spatio-temporal information through discrete and sparse spikes, thereby receiving considerable attention. To improve accuracy and energy efficiency of SNNs, most previous studies have focused solely on training methods, and the effect of architecture has rarely been studied. We investigate the design choices used in the previous studies in terms of the accuracy and number of spikes and figure out that they are not best-suited for SNNs. To further improve the accuracy and reduce the spikes generated by SNNs, we propose a spike-aware neural architecture search framework called AutoSNN. We define a search space consisting of architectures without undesirable design choices. To enable the spike-aware architecture search, we introduce a fitness that considers both the accuracy and number of spikes. AutoSNN successfully searches for SNN architectures that outperform hand-crafted SNNs in accuracy and energy efficiency. We thoroughly demonstrate the effectiveness of AutoSNN on various datasets including neuromorphic datasets.

研究动机与目标

• 分析 SNN 架构选择如何影响准确性和尖峰产生。
• 识别通过降低尖峰实现能效提升的设计组件。
• 开发一个尖峰感知的 NAS 框架以自动发现高效的 SNN 架构。
• 证明 AutoSNN 在静态和神经形态数据集上的有效性。

提出的方法

• 将 SNN 构建模块标准化为脉冲卷积和残差块（SCB 和 SRB）。
• 识别不合适的选择（例如全局平均池化）以及更可取的下采样方式（最大池化）。
• 定义两级搜索空间：宏观骨干（基于 SNN_1）和微观级候选脉冲块（skip、SCB_k3、SCB_k5、SRB_k3、SRB_k5）。
• 构建一个 spike-aware 适应度函数 F(A) = Accuracy × (N / N_avg)^λ，以联合优化准确性和尖峰计数，其中 λ < 0 以惩罚尖峰。
• 使用单次权重共享来训练编码所有候选的超网络，随后在固定预算下对架构进行进化搜索（B = 200 次评估）。
• 使用带参数化 LIF 神经元（PLIF）和八个时步进行有监督直接训练来训练 SNN，并评估跨数据集的可迁移性。

实验结果

研究问题

• RQ1 SNN 的哪些架构组件最影响准确性与尖峰计数之间的权衡？
• RQ2 尖峰感知的 NAS 框架是否能够发现在准确性和能效上都优于手工设计的 SNN 架构？
• RQ3 AutoSNN 对静态和神经形态数据集及不同时步的泛化能力如何？
• RQ4 在专门的 SNN 搜索空间中探索是否比将 ANN 搜索空间改造用于 SNN 更有效？

主要发现

• AutoSNN 发现了能效高、在 CIFAR10 上比手工设计的 SNN 具有更高准确性且产生的尖峰更少的架构。
• 在 CIFAR10 的不同初始通道下，AutoSNN 的性能为：16→88.67% 的准确率，尖峰数 108K；32→91.32%，尖峰数 176K；64→92.54% ，尖峰数 261K；128→93.15% ，尖峰数 310K。
• 在多数据集上，AutoSNN 在准确性和尖峰计数方面均优于手工架构（如 CIFAR100：AutoSNN 69.16% vs 66.83%，尖峰 326K vs 716K；SVHN：AutoSNN 91.74% vs 91.38%，尖峰 215K vs 462K；DVS128-Gesture：AutoSNN 96.53% vs 95.49%，尖峰 423K vs 1459K）。
• 增加尖峰感知权重 λ 会带来更少的尖峰且准确性略有权衡；默认 λ = -0.08 能在接近相同准确率的情况下显著减少尖峰（大约比 λ=0 少 2 万个尖峰）。
• 在单 GPU 上的搜索成本适中（约 7 小时：超网络训练约 6.5 小时，进化搜索约 8 分钟）。
• 消融研究表明尖峰感知进化搜索优于随机采样和基于 ANN 的搜索，验证在架构搜索中考虑 SNN 特有属性的必要性。