[論文レビュー] Spike-Train Level Backpropagation for Training Deep Recurrent Spiking Neural Networks

Wenrui Zhang, Peng Li|arXiv (Cornell University)|Aug 18, 2019

Advanced Memory and Neural Computing被引用数 73

ひとこと要約

Spike-Train Level RSNN Backpropagation (ST-RSBP) は時間展開を行わずに深い再帰型スパイキングニューラルネットワークを訓練し、既存のSNN BP法および非スパイキングモデルと比較して、複数の音声データセットおよび画像データセットで最先端の結果を達成します。

ABSTRACT

Spiking neural networks (SNNs) well support spatiotemporal learning and energy-efficient event-driven hardware neuromorphic processors. As an important class of SNNs, recurrent spiking neural networks (RSNNs) possess great computational power. However, the practical application of RSNNs is severely limited by challenges in training. Biologically-inspired unsupervised learning has limited capability in boosting the performance of RSNNs. On the other hand, existing backpropagation (BP) methods suffer from high complexity of unrolling in time, vanishing and exploding gradients, and approximate differentiation of discontinuous spiking activities when applied to RSNNs. To enable supervised training of RSNNs under a well-defined loss function, we present a novel Spike-Train level RSNNs Backpropagation (ST-RSBP) algorithm for training deep RSNNs. The proposed ST-RSBP directly computes the gradient of a rated-coded loss function defined at the output layer of the network w.r.t tunable parameters. The scalability of ST-RSBP is achieved by the proposed spike-train level computation during which temporal effects of the SNN is captured in both the forward and backward pass of BP. Our ST-RSBP algorithm can be broadly applied to RSNNs with a single recurrent layer or deep RSNNs with multiple feed-forward and recurrent layers. Based upon challenging speech and image datasets including TI46, N-TIDIGITS, Fashion-MNIST and MNIST, ST-RSBP is able to train RSNNs with an accuracy surpassing that of the current state-of-art SNN BP algorithms and conventional non-spiking deep learning models.

研究の動機と目的

• 定義された損失関数を用いた一般的RSNNの監督付き学習を動機づけ、可能にする。
• 完全な時間の展開を伴わずに時間的ダイナミクスを扱えるスケーラブルな backpropagation 手法を開発する。
• スパイク列レベルの誤差伝播を導出し、スパイクの不連続性を保持しつつ訓練効率を向上させる。
• 音声と画像タスクを横断する複数のフィードフォワードおよび再帰層を備えた深いRSNNで手法を実証する。

提案手法

• 時間展開なしに学習可能パラメータに対するレートコード化損失の勾配を計算するスパイク-トレインレベル RSNN バックプロパゲーション (ST-RSBP) を導入する。
• 事前/事後シナプス間スパイク列の相互作用を捉えるために Spike-train PSPs (S-PSP) と総 PSPs (T-PSP) を定義する。
• 再帰結合を扱うための結合線形系とスパイク-トレインレベルの微分を用いて、出力層と隠れ層のバックプロパゲート誤差を導出する。
• 前の活性化に対する活性化の偏微分を得るために線形システムを解き、効率的なバックプロパゲーションを可能にする。
• レートコード損失 E = 1/2 ||o − y||^2 を o ≈ a/ν として適用し、勾配更新 Δw = η ∂E/∂w を導出する。
• 複数の層を持つ RSNN で ST-RSBP を実証し、HM2-BP および他の SNN BP アプローチと比較する。

実験結果

リサーチクエスチョン

• RQ1 ST-RSBP は再帰的結合を含む任意のトポロジを持つ深い RSNN を時間展開なしで訓練できますか？
• RQ2 スパイク-トレインレベルの勾配は、音声と画像の SNN ベンチマークの既存の BP 手法と比較して精度が優れていますか？
• RQ3 同じタスクにおける最先端の非スパイキングモデルと比較してST-RSBPの性能はどうですか？
• RQ4 ST-RSBP は多様なデータセットに対して RSNN とスパイキングCNNの両方に有効ですか？

主な発見

• ST-RSBP は TI46-Alpha（最良 93.35%、400-400-400）、TI46-Digits（最良 99.39%）、N-Tidigits（最良 93.13%）で現在の最先端 SNN BP 手法より高い精度を達成します。
• Fashion-MNIST では ST-RSBP は 400-R400 で最高 90.13%、平均 90.13%、標準偏差 0.14% に到達します。
• MNIST のスパイキングCNNでは、ST-RSBP は最高精度 99.62% を達成し、同等アーキテクチャで HM2-BP や他の BP ルールより上回ります。
• ST-RSBP は同じデータセットで従来の非スパイキングモデル（例: LSTM/GRN）を上回ります。
• 本法は時間展開なしに RSNN を訓練し、勾配の消失/発散を回避しつつ、スパイク-トレインレベルの情報を正確に伝播します。