[論文レビュー] AutoSNN: Towards Energy-Efficient Spiking Neural Networks

Byunggook Na, Jisoo Mok+4 more|arXiv (Cornell University)|Jan 30, 2022

Advanced Memory and Neural Computing被引用数 25

ひとこと要約

AutoSNN は、エネルギー効率の良い SNN を設計するためのスパイク認識型ニューラルアーキテクチャ探索を導入し、スパイク数と精度のバランスを取りつつ、複数データセットで手作り設計よりも良い性能を発揮します。

ABSTRACT

Spiking neural networks (SNNs) that mimic information transmission in the brain can energy-efficiently process spatio-temporal information through discrete and sparse spikes, thereby receiving considerable attention. To improve accuracy and energy efficiency of SNNs, most previous studies have focused solely on training methods, and the effect of architecture has rarely been studied. We investigate the design choices used in the previous studies in terms of the accuracy and number of spikes and figure out that they are not best-suited for SNNs. To further improve the accuracy and reduce the spikes generated by SNNs, we propose a spike-aware neural architecture search framework called AutoSNN. We define a search space consisting of architectures without undesirable design choices. To enable the spike-aware architecture search, we introduce a fitness that considers both the accuracy and number of spikes. AutoSNN successfully searches for SNN architectures that outperform hand-crafted SNNs in accuracy and energy efficiency. We thoroughly demonstrate the effectiveness of AutoSNN on various datasets including neuromorphic datasets.

研究の動機と目的

• SNN におけるアーキテクチャの選択が精度とスパイク発生に与える影響を分析する。
• スパイク数を減らすことでエネルギー効率を改善する設計要素を特定する。
• 自動的に効率的な SNN アーキテクチャを発見するスパイク認識 NAS フレームワークを開発する。
• Static および neuromorphic データセット全体で AutoSNN の有効性を実証する。

提案手法

• SNN のビルディングブロックをスパイキング畳み込みブロックと残差ブロックに標準化する（SCB および SRB）。
• Global Average Pooling などの適切でない選択肢と、最大プーリングによる適切な下サンプリングを識別する。
• 2 レベルの探索空間を定義する：macro backbone（SNN_1 に基づく）と micro レベルの候補スパイキングブロック（skip、SCB_k3、SCB_k5、SRB_k3、SRB_k5）。
• スパイク認識適合度関数 F(A) = Accuracy × (N / N_avg)^λ を構築し、精度とスパイク数を同時に最適化する。λ < 0 でスパイクを penalize。
• すべての候補をエンコードする超ネットワークをワンショット重み共有で訓練し、固定予算内でのアーキテクチャ探索を進化的に行う（B = 200 評価）。
• LIF ニューロン（PLIF）と 8 timesteps を用いたパラメトリックな SNN の直接的監視学習で訓練する。データセット間の転移性を評価する。

実験結果

リサーチクエスチョン

• RQ1 SNN のどのアーキテクチャ要素が精度とスパイク数のトレードオフに最も影響を与えるか？
• RQ2 スパイク認識 NAS フレームワークは、精度とエネルギー効率の双方で手作り設計を上回る SNN アーキテクチャを発見できるか？
• RQ3 AutoSNN は static データセットと neuromorphic データセット、異なる timesteps に対してどの程度一般化できるか？
• RQ4 SNN 固有の空間で探索する方が、SNN へ適用する ANN 探索空間を適合させるより良い結果を生むか？

主な発見

• AutoSNN はエネルギー効率の高い SNN アーキテクチャを発見し、手作り SNN より高い精度とスパイク数の削減を CIFAR10 で達成する。
• CIFAR10 の初期チャネルを変化させた場合、AutoSNN は以下を達成：16→88.67% 精度で 108K スパイク；32→91.32% で 176K；64→92.54% で 261K；128→93.15% で 310K。
• 複数データセットにおいて、AutoSNN は精度とスパイク数の両方で手作りアーキテクチャを上回る（例：CIFAR100: AutoSNN 69.16% vs 66.83%、326K スパイク vs 716K；SVHN: AutoSNN 91.74% vs 91.38%、215K vs 462K；DVS128-Gesture: AutoSNN 96.53% vs 95.49%、423K vs 1459K）。
• スパイク認識ウェイト λ を増加させるとスパイク数が減少し、精度とのトレードオフはわずか。デフォルトの λ = -0.08 は、λ=0 に比べて同程度の精度で約 20K 程度のスパイク削減を示す。
• 探索コストは単一 GPU で控えめ（約 7 時間：超ネットワーク訓練約 6.5h、進化的探索約 8 分）。
• アブレーション研究は、スパイク認識進化的探索がランダムサンプリングや ANN ベースの探索を上回ることを示し、アーキテクチャ探索中に SNN 固有の特性を考慮する必要性を裏付ける。