[論文レビュー] SEENN: Towards Temporal Spiking Early-Exit Neural Networks

Yuhang Li, Tamar Geller+2 more|arXiv (Cornell University)|Apr 2, 2023

Advanced Memory and Neural Computing被引用数 12

ひとこと要約

SEENN は SEENN-I 信頼度ベースの出口と SEENN-II 強化学習出口を備えた、入力条件付きの時系列早期終了を Spiking Neural Networks (SNNs) に提案し、CIFAR、ImageNet などの関連データセットで、平均タイムステップ数をはるかに少なくして最先端の精度を達成します。直接訓練とANN-SNN変換の双方に適用可能です。

ABSTRACT

Spiking Neural Networks (SNNs) have recently become more popular as a biologically plausible substitute for traditional Artificial Neural Networks (ANNs). SNNs are cost-efficient and deployment-friendly because they process input in both spatial and temporal manner using binary spikes. However, we observe that the information capacity in SNNs is affected by the number of timesteps, leading to an accuracy-efficiency tradeoff. In this work, we study a fine-grained adjustment of the number of timesteps in SNNs. Specifically, we treat the number of timesteps as a variable conditioned on different input samples to reduce redundant timesteps for certain data. We call our method Spiking Early-Exit Neural Networks (SEENNs). To determine the appropriate number of timesteps, we propose SEENN-I which uses a confidence score thresholding to filter out the uncertain predictions, and SEENN-II which determines the number of timesteps by reinforcement learning. Moreover, we demonstrate that SEENN is compatible with both the directly trained SNN and the ANN-SNN conversion. By dynamically adjusting the number of timesteps, our SEENN achieves a remarkable reduction in the average number of timesteps during inference. For example, our SEENN-II ResNet-19 can achieve 96.1% accuracy with an average of 1.08 timesteps on the CIFAR-10 test dataset. Code is shared at https://github.com/Intelligent-Computing-Lab-Yale/SEENN.

研究の動機と目的

• 入力難易度に応じてタイムステップを条件付けすることで SNN のタイムステップを削減し、精度を損なわないことを動機づける。
• SEENN を SNN のスパーキング早期退出のフレームワークとして導入し、2つの出口戦略を示す。
• SEENN が直接訓練型 SNN と ANN-SNN 変換の両方と互換性があることを示す。
• 標準的なビジョンド dataset で SEENN が精度-効率のトレードオフを改善する実証的証拠を提供する。

提案手法

• 入力ごとにタイムステップ数 T を可変とし、時間次元での早期退出を可能にする SNN をモデル化する。
• SEENN-I: 信頼度スコア閾値を用いて出力時刻を決定する。
• SEENN-II: 学習可能なタイムステップ選択ポリシーを強化学習で学習し、タイムステップを最小化しつつ精度を維持する。
• SEENN-II では、候補タイムステップの中から一つを選ぶワンホット出力をする小さなポリシー網を訓練し、ポリシーグラディエントで最適化する。
• SEENN を Temporal Efficient Training (TET) 損失で訓練し、タイムステップごとの予測を改善し、必要に応じて SEENN-II でポリシーを共同訓練する。
• CIFAR-10/100、ImageNet、CIFAR10-DVS にわたり、直接訓練と ANN-SNN 変換の両セットアップで評価する。

実験結果

リサーチクエスチョン

• RQ1 サンプルごとのタイムステップ調整は SNN の平均推論時間を精度を損なうことなく減らせるか。
• RQ2 信頼度ベース閾値と RL ベースの方針はデータセットとアーキテクチャ全体で効果的な早期退出機構を提供するか。
• RQ3 SEENN は直接訓練型 SNN と ANN-SNN 変換の双方と互換性があり、それぞれの設定でどの程度の性能向上があるか。
• RQ4 SEENN は SNN 推論のハードウェア指標（待機時間・エネルギー）にどのように影響するか。

主な発見

• SEENN-I は CIFAR-10 で 96.07% の精度を、平均 1.09 タイムステップで達成（ベースラインより高いタイムステップを使用）。
• SEENN-I は CIFAR-10 で 96.38% の精度を、平均 1.20 タイムステップで達成し、CIFAR-10 で 96.44% を 1.34 タイムステップで達成、少ないタイムステップで高精度を示す。
• SEENN-II は CIFAR-10/ResNet-19 変種で約 1.08–1.21 タイムステップで CIFAR-10 の同等の性能に到達し、いくつかのケースで CIFAR-100 で SEENN-I より優れる（例: CIFAR-100 で 0.7% 高い精度）。
• ImageNet では SEENN-I は同様の精度を、はるかに少ないタイムステップで達成（例: ResNet-34: 2.28–2.35 タイムステップで direct training の ~63.6–63.65% 精度）。SEENN-II はさらに T を約 1.79–1.79–2.40 に削減する設定に応じて。
• CIFAR10-DVS では SEENN-I はほとんどのベースラインを上回り約 2.5 タイムステップ、SEENN-II は約 4.5 タイムステップで約 82.6% の精度。
• SEENN は ANN-SNN 変換との互換性を示し、従来の変換法より高い精度を低いタイムステップで達成（例: CIFAR-10 で 1.4 タイムステップで 93.63% 対 変換法の 75.44%）。
• SEENN は GPU 実験で速度とエネルギー消費の両方の向上を提供する可能性があり、SEENN-I は速度とエネルギー使用の同時改善を示す。