[論文レビュー] AutoST: Training-free Neural Architecture Search for Spiking Transformers

Ziqing Wang, Qidong Zhao+3 more|arXiv (Cornell University)|Jul 1, 2023

Advanced Memory and Neural ComputingEngineering被引用数 3

ひとこと要約

AutoSTは、SNNの非微分可能で高スパarsityな特性を回避するため、性能予測に浮動小数点演算数（FLOPs）を用いる訓練不要なニューラルアーキテクチャ探索（NAS）手法を提案する。CIFAR-10、CIFAR-100、CIFAR10-DVSで最先端の精度を達成し、従来の手動および自動設計SNNを最大9.10%上回る。

ABSTRACT

Spiking Transformers have gained considerable attention because they achieve both the energy efficiency of Spiking Neural Networks (SNNs) and the high capacity of Transformers. However, the existing Spiking Transformer architectures, derived from Artificial Neural Networks (ANNs), exhibit a notable architectural gap, resulting in suboptimal performance compared to their ANN counterparts. Manually discovering optimal architectures is time-consuming. To address these limitations, we introduce AutoST, a training-free NAS method for Spiking Transformers, to rapidly identify high-performance Spiking Transformer architectures. Unlike existing training-free NAS methods, which struggle with the non-differentiability and high sparsity inherent in SNNs, we propose to utilize Floating-Point Operations (FLOPs) as a performance metric, which is independent of model computations and training dynamics, leading to a stronger correlation with performance. Our extensive experiments show that AutoST models outperform state-of-the-art manually or automatically designed SNN architectures on static and neuromorphic datasets. Full code, model, and data are released for reproduction.

研究の動機と目的

• SNNの非微分可能で高スパarsityな特性に起因する、Spiking TransformersとそのANN対応物との間の性能格差を是正すること。
• 従来のSNNにおけるNAS手法の限界、特にバックプロパゲーション依存、非微分可能なスパイク、高スパarsityに起因する問題を克服すること。
• モデルの訓練を必要とせず、高パフォーマンスなSpiking Transformerアーキテクチャを迅速に特定できる訓練不要なNASフレームワークを開発すること。
• 勾配やスパarsityに依存せず、SNNにおける信頼性の高い訓練不要な性能予測指標としてFLOPsを確立すること。
• CIFAR-10、CIFAR-100、CIFAR10-DVSを含む広範な評価を通じて、静的および神経形状データセットにおける優れた一般化性能と効率性を示すこと。

提案手法

• AutoSTは、深さ、幅、埋め込み次元を設定可能なSpiking Transformerアーキテクチャの探索空間を採用する。
• 候補アーキテクチャは、バックプロパゲーションや活性化パターン解析を避けるために、FLOPsを性能代理指標として評価する。
• SNNにおけるFLOPsと実際のモデル性能との強い相関関係を活用し、非微分可能なスパイクやスパースな活性化に起因する問題を回避する。
• アーキテクチャ候補はFLOPsに基づいて生成・順位付けされ、訓練や勾配計算は一切不要である。
• 最終的なアーキテクチャは、FLOPs順位に基づいて選択され、複数のデータセットで下流の精度と強く相関している。
• CIFAR-10、CIFAR-100、CIFAR10-DVSにおける最先端SNNモデルとの比較およびアブレーションスタディを通じて、本手法の有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 SNNの非微分可能でスパースな性質を考慮しても、FLOPsはSpiking Transformersにおける効果的で訓練不要な性能予測指標として機能するか？
• RQ2 訓練不要なNASアプローチは、従来の訓練ベースのNASおよび手動アーキテクチャ設計を上回るSpiking Transformerの性能を達成できるか？
• RQ3 深さ、幅、タイムステップといったアーキテクチャ的選択がSpiking Transformersの性能に与える影響は何か？
• RQ4 AutoSTの探索から得られるアーキテクチャ的パターンは、従来のSNN設計とどのように異なるか？
• RQ5 AutoSTは、過学習の懸念があるデータセットを含め、静的および神経形状データセットに効果的に一般化できるか？

主な発見

• AutoSTはCIFAR-10で最先端SNNを上回り、34.44Mパラメータでトップ1精度74.54%を達成し、Spikformer-10-512を0.86%上回った。
• CIFAR-100では、AutoST -baseが74.54%の精度を達成し、既存の最良SNNを4.34%上回った。
• 神経形状データセットCIFAR10-DVSでは、AutoST -tinyが81.6%の精度を達成し、前回SOTAを7.2%上回りながらも、より少ないパラメータ数を用いた。
• AutoST -small（14.68Mパラメータ）は71.02%の精度を達成し、Spikformer-8-384（16.81Mパラメータ）を0.78%上回った。
• 探索プロセスでは、幅広く浅いアーキテクチャが好まれており、これは量子化誤差の蓄積を軽減し、精度向上に寄与する。
• タイムステップ4が最適であると特定され、この点まで精度が向上し、精度と効率のバランスが取れている。