[論文レビュー] Hybrid Macro/Micro Level Backpropagation for Training Deep Spiking Neural Networks

Yingyezhe Jin, Wenrui Zhang+1 more|arXiv (Cornell University)|May 20, 2018

Advanced Memory and Neural Computing被引用数 116

ひとこと要約

本論文は HM2-BP を提案する。これはマクロレベル（レート）とマイクロレベル（スパイク列）を結合させ、スパイク列レベルのシナプス後電位（S-PSP）を介して誤差信号を伝えるハイブリッドなバックプロパゲーションアルゴリズムであり、深いスパイキングニューラルネットを直接訓練する。MNIST、N-MNIST、EMNIST、TI46 で最先端の結果を達成し、スパイキングの不連続性と時系列ダイナミクスを効率的に扱う。

ABSTRACT

Spiking neural networks (SNNs) are positioned to enable spatio-temporal information processing and ultra-low power event-driven neuromorphic hardware. However, SNNs are yet to reach the same performances of conventional deep artificial neural networks (ANNs), a long-standing challenge due to complex dynamics and non-differentiable spike events encountered in training. The existing SNN error backpropagation (BP) methods are limited in terms of scalability, lack of proper handling of spiking discontinuities, and/or mismatch between the rate-coded loss function and computed gradient. We present a hybrid macro/micro level backpropagation (HM2-BP) algorithm for training multi-layer SNNs. The temporal effects are precisely captured by the proposed spike-train level post-synaptic potential (S-PSP) at the microscopic level. The rate-coded errors are defined at the macroscopic level, computed and back-propagated across both macroscopic and microscopic levels. Different from existing BP methods, HM2-BP directly computes the gradient of the rate-coded loss function w.r.t tunable parameters. We evaluate the proposed HM2-BP algorithm by training deep fully connected and convolutional SNNs based on the static MNIST [14] and dynamic neuromorphic N-MNIST [26]. HM2-BP achieves an accuracy level of 99.49% and 98.88% for MNIST and N-MNIST, respectively, outperforming the best reported performances obtained from the existing SNN BP algorithms. Furthermore, the HM2-BP produces the highest accuracies based on SNNs for the EMNIST [3] dataset, and leads to high recognition accuracy for the 16-speaker spoken English letters of TI46 Corpus [16], a challenging patio-temporal speech recognition benchmark for which no prior success based on SNNs was reported. It also achieves competitive performances surpassing those of conventional deep learning models when dealing with asynchronous spiking streams.

研究の動機と目的

• Temporal dynamics と非微分可能なスパイクに起因する深い SNN の訓練課題に対処する。
• S-PSP を介してスパイク時刻を発火レートに結びつけるスケーラブルなバックプロパゲーションフレームワークを開発する。
• マクロ（発火レート）とマイクロ（スパイク列）レベルを通じて重みの勾配を導出する。
• MNIST、N-MNIST、EMNIST、TI46 データセットで最先端の性能を実証する。

提案手法

• HM2-BP を導入し、マクロ（レート）とミクロ（スパイク列）レベルの誤差をバックプロパゲートする。
• スパイク列レベルのポストシナプス電位（S-PSP）を定義して、正確なスパイク時刻の寄与を捉える。
• 勾配計算のために、マクロレベルのS-PSPモデルを分離して、レートと時系列効果を分離する。
• レートコード化された損失 E = 1/2 ||o − y||^2 が直接重み更新を知らせるように勾配を導出する。
• LIF ダイナミクスの前方シミュレーションと、マクロ/マイクロ伝搬を用いた逆伝播を提供する。
• 複数の SNN アーキテクチャとデータセットで効率的な GPU 実装を提供し評価する。

実験結果

リサーチクエスチョン

• RQ1 スパイク列情報を通じてレートベースの損失をバックプロパゲーションすることで、深い SNN を直接訓練できるか。
• RQ2 デュアルなマクロ/ミクロのバックプロパゲーションは、既存のSNN BP 手法よりスケーラビリティと精度を向上させるか。
• RQ3 S-PSP と分離されたマイクロモデルは、重みについての勾配計算をどのように可能にするか。
• RQ4 HM2-BP は MNIST、N-MNIST、EMNIST、TI46 において、従来の SNN BP 手法と比べてどの程度の精度を達成するか。

主な発見

• MNIST では、HM2-BP は 99.49%（CNN）と実験全体での最良値で 98.93% を達成。
• N-MNIST では、HM2-BP が 98.88% の最良値を達成し、従来の SNN-BP 手法を上回った。
• EMNIST では、19 エポックで 85.57% の最良値に到達し、非スパイキング ANN および eRBP ベースラインを上回った。
• TI46 音声では、800-800 および 174 エポックで 90.98% の最良値に到達し、このデータセットの SNN における最先端を達成。
• HM2-BP は非同期スパーキングストリームの従来型ディープラーニングモデルに対して競争力のある性能を示す。
• このアプローチは、1 回の更新ごとに複数のスパイクを追加/削除でき、訓練効率を改善する。