[論文レビュー] Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation

Nitin Rathi, Gopalakrishnan Srinivasan+2 more|arXiv (Cornell University)|May 4, 2020

Advanced Memory and Neural Computing参考文献 22被引用数 164

ひとこと要約

本論文は、ANNから変換したSNNを初期化し、それをスパイクタイミング依存の逆伝播法（STDB）で微調整するハイブリッド訓練手法を提案し、はるかに少ない時間ステップと低い訓練コストで同等の精度を達成する。

ABSTRACT

Spiking Neural Networks (SNNs) operate with asynchronous discrete events (or spikes) which can potentially lead to higher energy-efficiency in neuromorphic hardware implementations. Many works have shown that an SNN for inference can be formed by copying the weights from a trained Artificial Neural Network (ANN) and setting the firing threshold for each layer as the maximum input received in that layer. These type of converted SNNs require a large number of time steps to achieve competitive accuracy which diminishes the energy savings. The number of time steps can be reduced by training SNNs with spike-based backpropagation from scratch, but that is computationally expensive and slow. To address these challenges, we present a computationally-efficient training technique for deep SNNs. We propose a hybrid training methodology: 1) take a converted SNN and use its weights and thresholds as an initialization step for spike-based backpropagation, and 2) perform incremental spike-timing dependent backpropagation (STDB) on this carefully initialized network to obtain an SNN that converges within few epochs and requires fewer time steps for input processing. STDB is performed with a novel surrogate gradient function defined using neuron's spike time. The proposed training methodology converges in less than 20 epochs of spike-based backpropagation for most standard image classification datasets, thereby greatly reducing the training complexity compared to training SNNs from scratch. We perform experiments on CIFAR-10, CIFAR-100, and ImageNet datasets for both VGG and ResNet architectures. We achieve top-1 accuracy of 65.19% for ImageNet dataset on SNN with 250 time steps, which is 10X faster compared to converted SNNs with similar accuracy.

研究の動機と目的

• ANN-SNN変換の高い待機時間と、SNNをゼロから訓練する高コストを動機づけて解決する。
• STDBベースの微調整の初期化として変換済みSNNを使用するハイブリッド訓練パイプラインを提案する。
• スパイク時刻に基づく新規代理勾配を開発し、効率的なスパイクベース学習を可能にする。
• CIFARおよびImageNetで深いアーキテクチャ（VGG、ResNet）への拡張性を、減少した時間ステップで実証する。

提案手法

• SNNの初期化として、ANN-SNN変換済みネットワークを用いる。
• ニューロンのスパイク時刻に基づく代理勾配を用いて、初期化されたSNNをスパイクタイミング依存型逆伝播法（STDB）で訓練する。
• スパイク活性化の膜電位に対する微分が、前回のスパイクからの経過時間（Δt）とともに減衰する代理勾配を定義する。
• PyTorch実装に適した離散時間更新を備えたソフトリセットLIFニューロンモデルを採用する。
• 変換時にしきい値のバランシングを適用し、STDBで学習する間は各層で共有しきい値を維持する。
• CIFAR-10、CIFAR-100、ImageNetでVGGおよびResNet風アーキテクチャを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 ANNから初期化された変換済みSNNは、スパイクベースの逆伝播でエンドツーエンド訓練したときに訓練時間と待機時間を削減できるか。
• RQ2 スパイク時刻代理勾配を用いたスパイクタイム依存型逆伝播は、深いSNNが少ない時間ステップで競争力のある精度を達成できるか。
• RQ3 標準データセット全体で、ハイブリッド手法は純粋なANN-SNN変換および純粋なスパイクベース訓練と比較してどうか。
• RQ4 STDBで訓練されたSNNの性能に対するしきい値の扱いとアーキテクチャ選択（VGG、Residual nets）の影響はどうか。

主な発見

• ハイブリッド訓練は、純粋に変換されたSNNと同等の精度を保ちつつ、時間ステップを10倍〜25倍削減します。
• 訓練は20エポック未満で収束します。
• ImageNetで250時間ステップ時、ハイブリッド手法はVGG16で65.19%のtop-1精度を達成し、ANN性能に近い低遅延を実現。
• ハイブリッドSTDB訓練は、等条件で純粋に変換されたSNNと比較してスパイク活動を約1.5×削減し、エネルギー効率を向上させます。
• CIFAR-10/100とImageNet全体で、VGG/ResNet系はANNおよび変換SNNに対してほぼISO精度を示しつつ、著しく減少した時間ステップを達成します。
• CIFAR-10では、報告された比較でVGG16ベースのハイブリッドモデルがT=100で91.13%、T=200で92.02%を達成。