[论文解读] AutoST: Training-free Neural Architecture Search for Spiking Transformers

Ziqing Wang, Qidong Zhao+3 more|arXiv (Cornell University)|Jul 1, 2023

Advanced Memory and Neural ComputingEngineering被引用 3

一句话总结

AutoST 提出了一种无需训练的神经架构搜索（NAS）方法，用于脉冲变压器网络，利用浮点运算量（FLOPs）作为性能预测指标，以绕过脉冲神经网络（SNNs）的不可微性与高稀疏性问题。该方法在 CIFAR-10、CIFAR-100 和 CIFAR10-DVS 上实现了最先进性能，相较于以往人工设计与自动设计的 SNN，准确率最高提升达 9.10%。

ABSTRACT

Spiking Transformers have gained considerable attention because they achieve both the energy efficiency of Spiking Neural Networks (SNNs) and the high capacity of Transformers. However, the existing Spiking Transformer architectures, derived from Artificial Neural Networks (ANNs), exhibit a notable architectural gap, resulting in suboptimal performance compared to their ANN counterparts. Manually discovering optimal architectures is time-consuming. To address these limitations, we introduce AutoST, a training-free NAS method for Spiking Transformers, to rapidly identify high-performance Spiking Transformer architectures. Unlike existing training-free NAS methods, which struggle with the non-differentiability and high sparsity inherent in SNNs, we propose to utilize Floating-Point Operations (FLOPs) as a performance metric, which is independent of model computations and training dynamics, leading to a stronger correlation with performance. Our extensive experiments show that AutoST models outperform state-of-the-art manually or automatically designed SNN architectures on static and neuromorphic datasets. Full code, model, and data are released for reproduction.

研究动机与目标

• 为解决由于架构不匹配导致的脉冲变压器与人工神经网络（ANN）之间性能差距的问题。
• 克服现有 SNN NAS 方法的局限性，这些方法依赖反向传播，且受不可微脉冲与高稀疏激活的影响。
• 开发一种无需训练的 NAS 框架，可快速识别高性能脉冲变压器架构，而无需进行模型训练。
• 确立 FLOPs 作为 SNN 的可靠、无需训练的性能预测指标，其独立于梯度与稀疏性。
• 通过广泛评估，证明该方法在静态与类脑数据集上均具备优越的泛化能力与效率。

提出的方法

• AutoST 采用可配置深度、宽度与嵌入维度的脉冲变压器架构搜索空间。
• 利用 FLOPs 作为性能代理指标评估候选架构，避免使用反向传播与激活模式分析。
• 该方法利用 FLOPs 与 SNN 实际性能之间的强相关性，规避了不可微脉冲与稀疏激活带来的问题。
• 候选架构通过 FLOPs 进行生成与排序，无需训练或梯度计算。
• 最终架构基于 FLOPs 排名选择，其与下游准确率在多个数据集上具有强相关性。
• 通过消融实验与在 CIFAR-10、CIFAR-100 和 CIFAR10-DVS 上与最先进 SNN 模型的对比，验证了该方法的有效性。

实验结果

研究问题

• RQ1 尽管 SNN 具有不可微与稀疏特性，FLOPs 是否可作为脉冲变压器的有效、无需训练的性能预测指标？
• RQ2 无需训练的 NAS 方法是否在脉冲变压器性能上优于现有的基于训练的 NAS 与人工架构设计？
• RQ3 架构选择如深度、宽度与时间步长如何影响脉冲变压器的性能？
• RQ4 AutoST 搜索过程中涌现出哪些架构模式？它们与传统 SNN 设计有何不同？
• RQ5 AutoST 是否能在静态与类脑数据集上实现有效泛化，包括在过拟合挑战下？

主要发现

• 在 CIFAR-10 上，AutoST 模型达到 74.54% 的 top-1 准确率（34.44M 参数），优于 Spikformer-10-512 的 0.86%。
• 在 CIFAR-100 上，AutoST -base 达到 74.54% 准确率，优于现有最佳 SNN 4.34%。
• 在类脑数据集 CIFAR10-DVS 上，AutoST -tiny 达到 81.6% 准确率，优于先前 SOTA 模型 7.2%，且参数更少。
• AutoST -small 模型（14.68M 参数）达到 71.02% 准确率，优于 Spikformer-8-384（16.81M 参数）0.78%。
• 搜索过程倾向于选择更宽、更浅的架构，有助于缓解量化误差累积，提升准确率。
• 时间步长为 4 被确定为最优，兼顾准确率与效率，性能在此前持续提升。