[論文レビュー] Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation

Nitin Rathi, Gopalakrishnan Srinivasan+2 more|arXiv (Cornell University)|May 4, 2020

Advanced Memory and Neural Computing参考文献 21被引用数 43

ひとこと要約

本論文は、変換されたANN-SNNを重みと閾値で初期化し、それをスパイクタイム依存の逆伝搬（STDB）で洗練させるハイブリッド学習フレームワークを提示する。これにより推論時間ステップと学習労力を削減しつつ、大規模データセットでの精度を維持する。

ABSTRACT

Spiking Neural Networks (SNNs) operate with asynchronous discrete events (or spikes) which can potentially lead to higher energy-efficiency in neuromorphic hardware implementations. Many works have shown that an SNN for inference can be formed by copying the weights from a trained Artificial Neural Network (ANN) and setting the firing threshold for each layer as the maximum input received in that layer. These type of converted SNNs require a large number of time steps to achieve competitive accuracy which diminishes the energy savings. The number of time steps can be reduced by training SNNs with spike-based backpropagation from scratch, but that is computationally expensive and slow. To address these challenges, we present a computationally-efficient training technique for deep SNNs. We propose a hybrid training methodology: 1) take a converted SNN and use its weights and thresholds as an initialization step for spike-based backpropagation, and 2) perform incremental spike-timing dependent backpropagation (STDB) on this carefully initialized network to obtain an SNN that converges within few epochs and requires fewer time steps for input processing. STDB is performed with a novel surrogate gradient function defined using neuron's spike time. The proposed training methodology converges in less than 20 epochs of spike-based backpropagation for most standard image classification datasets, thereby greatly reducing the training complexity compared to training SNNs from scratch. We perform experiments on CIFAR-10, CIFAR-100, and ImageNet datasets for both VGG and ResNet architectures. We achieve top-1 accuracy of 65.19% for ImageNet dataset on SNN with 250 time steps, which is 10X faster compared to converted SNNs with similar accuracy.

研究の動機と目的

• 深層SNNにおける待機時間と学習コストの削減を、精度を保ちながら実現する動機付け。
• スパイクベースの学習の強力な初期化としてANN-to-SNN変換を活用。
• 深層SNNを効率的に訓練するための、スパイク時刻を基にした近似勾配を用いたSTDBを開発。
• CIFAR-10, CIFAR-100, ImageNetに渡るVGGおよびResNetアーキテクチャでスケーラブルな性能を示す。

提案手法

• ANN-SNN変換を用いてSNNの重みと閾値を初期化（閾値バランシング）を行う。
• スパイク時刻（Δt）に基づく近似勾配を用いたSpike Timing Dependent Backpropagation（STDB）を導入。
• 初期化されたSNNをエポック数（<20）で訓練し、低遅延推論を実現。
• Backpropagation Through Time（BPTT）で時系列に展開し、効率のためにルックアップ近似勾配を適用。
• 膜電位のソフトリセットと入力のポアソンスパイクエンコディングを採用。
• CIFAR-10/100およびImageNetでVGG/ResNetの変種を評価し、単純な変換SNNおよびANNベースのベースラインと比較。

実験結果

リサーチクエスチョン

• RQ1 ANN-SNN変換は、スパイクベースの訓練の初期化として有効で、遅延と学習コストを削減できるか？
• RQ2 スパイク時刻を近似勾配として用いたSTDBは、深層SNNをほぼANNと同等の精度で、はるかに少ない時間ステップで達成できるか？
• RQ3 ハイブリッド手法を大規模データセットとアーキテクチャで用いた場合の精度とエネルギー/遅延のトレードオフは何か？
• RQ4 ハイブリッド法は、純粋な変換SNNおよびスパイクベース訓練と比較して、推論あたりのスパイク数と収束速度の観点でどう異なるか？

主な発見

Architecture	ANN	ANN-SNN Conversion (T=2500)	ANN-SNN Conversion (reduced time steps)	Hybrid Training (ANN-SNN Conversion + STDB)
CIFAR10 - VGG5	87.88%	87.64%	84.56% (T=75)	86.91% (T=75)
CIFAR10 - VGG9	91.45%	90.98%	87.31% (T=100)	90.54% (T=100)
CIFAR10 - VGG16	92.81%	92.48%	90.20% (T=100)	91.13% (T=100)
CIFAR10 - ResNet8	91.35%	91.12%	89.50% (T=200)	91.35% (T=200)
CIFAR10 - ResNet20	93.15%	92.94%	91.12% (T=250)	92.22% (T=250)
CIFAR100 - VGG11	71.21%	70.94%	65.52% (T=125)	67.87% (T=125)
ImageNet - ResNet34	70.2%	65.1%	56.87% (T=250)	61.48% (T=250)
ImageNet - VGG16	69.35%	68.12%	62.73% (T=250)	65.19% (T=250)

• ハイブリッド訓練は、変換されたSNNと同等またはそれ以上の精度を、はるかに少ない時間ステップで達成する。
• CIFAR-10のVGG16で、ハイブリッド訓練は100時間ステップ後に91.13%を達成（2500ステップの変換では92.48%だが待ち時間が長い）。
• ImageNetのVGG16では、ハイブリッド訓練は250時間ステップでトップ1精度65.19%に達し、同じステップ数での変換の62.73%を上回る。
• ImageNetのResNet-34は、250ステップで変換後61.48%のトップ1精度を示し、同様の時間予算でハイブリッド訓練は同等の向上を達成。
• CIFAR-10/100とImageNet全体で、ハイブリッド法は一般に時間ステップを最大約10倍削減しつつ、純粋な変換SNNと比較して競争力のある精度を維持する。