[論文レビュー] One Timestep is All You Need: Training Spiking Neural Networks with Ultra Low Latency

Sayeed Shafayet Chowdhury, Nitin Rathi+1 more|arXiv (Cornell University)|Oct 1, 2021

Advanced Memory and Neural Computing被引用数 20

ひとこと要約

本稿では、スパイクニューラルネットワーク（SNNs）が1ステップでの推論を可能にする訓練手法IIR-SNNを提案する。これにより、遅延が最大2500倍短縮され、高い精度を維持できる。初期化段階で高タイムステップモデルから得たSNNを繰り返し微調整することで、1ステップ遅延推論が実現可能となり、同等のDNNと比較して25–33倍のエネルギー効率向上を達成する。

ABSTRACT

Spiking Neural Networks (SNNs) are energy efficient alternatives to commonly used deep neural networks (DNNs). Through event-driven information processing, SNNs can reduce the expensive compute requirements of DNNs considerably, while achieving comparable performance. However, high inference latency is a significant hindrance to the edge deployment of deep SNNs. Computation over multiple timesteps not only increases latency as well as overall energy budget due to higher number of operations, but also incurs memory access overhead of fetching membrane potentials, both of which lessen the energy benefits of SNNs. To overcome this bottleneck and leverage the full potential of SNNs, we propose an Iterative Initialization and Retraining method for SNNs (IIR-SNN) to perform single shot inference in the temporal axis. The method starts with an SNN trained with T timesteps (T>1). Then at each stage of latency reduction, the network trained at previous stage with higher timestep is utilized as initialization for subsequent training with lower timestep. This acts as a compression method, as the network is gradually shrunk in the temporal domain. In this paper, we use direct input encoding and choose T=5, since as per literature, it is the minimum required latency to achieve satisfactory performance on ImageNet. The proposed scheme allows us to obtain SNNs with up to unit latency, requiring a single forward pass during inference. We achieve top-1 accuracy of 93.05%, 70.15% and 67.71% on CIFAR-10, CIFAR-100 and ImageNet, respectively using VGG16, with just 1 timestep. In addition, IIR-SNNs perform inference with 5-2500X reduced latency compared to other state-of-the-art SNNs, maintaining comparable or even better accuracy. Furthermore, in comparison with standard DNNs, the proposed IIR-SNNs provide25-33X higher energy efficiency, while being comparable to them in classification performance.

研究の動機と目的

• エッジデバイスへの展開を制限するスパイクニューラルネットワーク（SNNs）における高い推論遅延を低減すること。
• 静的画像分類や強化学習の分野において、低遅延と高精度のトレードオフを克服すること。
• 複数ステップ推論に必要な膜電位の保存・読み込みに起因するメモリアクセスオーバーヘッドを排除し、1ステップ推論を可能にすること。
• 標準的なDNNと同等またはそれ以上のエネルギー効率を実現しつつ、競争力のある分類性能を維持すること。
• ロボットや自律システムなどのリアルタイム応用分野におけるSNNの実用的展開を可能にするために、遅延を最小限に抑えること。

提案手法

• 直接入力符号化とサーヴィルグラデントバックプロパゲーションを用いて、5ステップのタイムステップで初期SNNを訓練する。
• 訓練済みSNNを、より高いタイムステップ（例：T=5）で初期化として用い、その後、より低いタイムステップ（例：T=4, 3, ..., 1）で再訓練する。
• タイムステップを段階的に減少させながら繰り返し微調整を実施し、段階的なファインチューニングにより性能を保持する。
• ニューロンのしきい値を学習可能なパラメータとして扱い、遅延段階の各段階で訓練の安定性と性能を向上させる。
• ハイブリッド訓練パイプラインを活用：まずANNを訓練し、SNNに変換した後、バックプロパゲーションを用いてSNNドメインでファインチューニングする。
• 直接入力符号化を用いることで、収束に必要なステップ数を削減し、低遅延推論に効率的な訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1ステップでの推論に限定しても、高精度を達成できるSNNは構築可能か。また、複数ステップ推論SNNと同等またはそれを上回る性能を達成できるか？
• RQ2 高タイムステップモデルからの繰り返し微調整によって、顕著な精度低下を伴わず、どの程度遅延を低減できるか？
• RQ3 1ステップSNN推論は、最先端のSNNおよび同等のDNNと比較して、エネルギー効率と遅延の点でどの程度優れているか？
• RQ4 IIR-SNNは、カートポールやアーケードゲームPongにおけるDQNのような強化学習タスクに、最小限の遅延で効果的に適用可能か？
• RQ5 スパイク数の削減と膜電位のメモリアクセスオーバーヘッドの排除が、全体のエネルギー効率に及ぼす影響は何か？

主な発見

• VGG16を用いた1ステップ推論において、CIFAR-10でトップ1精度93.05%、CIFAR-100で70.15%、ImageNetで67.71%を達成した。
• 最先端のSNNと比較して、推論遅延を5–2500倍短縮しつつ、精度を維持または向上させた。
• IIR-SNNは、同等のDNNと比較して25–33倍のエネルギー効率向上を達成した。強化学習におけるANN-DQNと比較して7.55倍の効率向上を示した。
• アーケードゲームPongでは、T1 SNNが17.4 ± 3.2の報酬を達成したのに対し、T5 SNNは19.4 ± 1.3を記録し、ANN-DQN（19.7 ± 1.1）と同等の性能を示したが、はるかに低い遅延を実現した。
• T1 SNN-DQNの平均スパイクレートはわずか0.08にとどまり、ANN-DQNと比較して7.55倍のエネルギー効率向上を示した。これは、低計算量動作の実現を示している。
• 複数ステップSNNに必須な膜電位の保存・読み込みに起因するメモリアクセスオーバーヘッドを完全に排除した。これにより、計算効率とエネルギー効率が向上した。