[論文レビュー] Hybrid Macro/Micro Level Backpropagation for Training Deep Spiking Neural Networks

Yingyezhe Jin, Wenrui Zhang+1 more|arXiv (Cornell University)|May 21, 2018

Advanced Memory and Neural Computing参考文献 22被引用数 43

ひとこと要約

HM2-BPを導入します。HM2-BPは、マクロマイクロレベルのバックプロパゲーションを組み合わせて、深いスパイキングニューラルネットワークを直接訓練するハイブリッドなアルゴリズムです。マクロレベルのレートコード化損失のバックプロパゲーションと、スパイク列レベルの後シナプティックポテンシャル（S-PSP）を介したマイクロレベルのスパイクトレインバックプロパゲーションを結合します。 この手法はMNIST、N-MNIST、EMNIST、TI46で最先端の結果を達成し、非同期スパイキングストリームでも強力な性能を示します。

ABSTRACT

Spiking neural networks (SNNs) are positioned to enable spatio-temporal information processing and ultra-low power event-driven neuromorphic hardware. However, SNNs are yet to reach the same performances of conventional deep artificial neural networks (ANNs), a long-standing challenge due to complex dynamics and non-differentiable spike events encountered in training. The existing SNN error backpropagation (BP) methods are limited in terms of scalability, lack of proper handling of spiking discontinuities, and/or mismatch between the rate-coded loss function and computed gradient. We present a hybrid macro/micro level backpropagation (HM2-BP) algorithm for training multi-layer SNNs. The temporal effects are precisely captured by the proposed spike-train level post-synaptic potential (S-PSP) at the microscopic level. The rate-coded errors are defined at the macroscopic level, computed and back-propagated across both macroscopic and microscopic levels. Different from existing BP methods, HM2-BP directly computes the gradient of the rate-coded loss function w.r.t tunable parameters. We evaluate the proposed HM2-BP algorithm by training deep fully connected and convolutional SNNs based on the static MNIST [14] and dynamic neuromorphic N-MNIST [26]. HM2-BP achieves an accuracy level of 99.49% and 98.88% for MNIST and N-MNIST, respectively, outperforming the best reported performances obtained from the existing SNN BP algorithms. Furthermore, the HM2-BP produces the highest accuracies based on SNNs for the EMNIST [3] dataset, and leads to high recognition accuracy for the 16-speaker spoken English letters of TI46 Corpus [16], a challenging patio-temporal speech recognition benchmark for which no prior success based on SNNs was reported. It also achieves competitive performances surpassing those of conventional deep learning models when dealing with asynchronous spiking streams.

研究の動機と目的

• 深いSNNの複雑な時系列ダイナミクスと非微分可能なスパイクの課題に対処する。
• 重みについて直接的にレートコード化された損失の勾配を計算する訓練アルゴリズムを開発する。
• スパイク列レベルの後シナプティックポテンシャル（S-PSP）を介して正確な時間的効果を捉える。
• マクロ（レート）とマイクロ（スパイク列）レベルの相互作用を含むバックプロパゲーションを可能にする。

提案手法

• S-PSPを前後ニューロンの前/後シナプススパイク列の微視的寄与としてモデル化する。
• マクロレベルのレートコード化損失Eを 1/2||o−y||^2 と定義し、発火回数 o をマイクロレベルの総後シナプティックポテンシャル a との関係で o≈a/ν と関連付ける。
• 勾配 ∂E/∂wij をマクロレベルおよびマイクロレベルの項の積として導出し、両レベル間のバックプロパゲーションを可能にする。
• a^{m}_{i} = ∑j w_{ij} e^{m}_{i|j} を計算する。ここで e_{i|j} はスパイク列レベルの後シナプティックポテンシャル（S-PSP）である。
• マクロレベルのレートと時間的効果を分離するため、微視的なS-PSPモデル e^{k}_{i|j} ≈ α̂ o^{k}_{j} o^{k}_{i} を導入し、∂e^{k}_{i|j}/∂o^{k}_{i}、∂e^{k}_{i|j}/∂o^{k}_{j} を推定する。
• 前向きのLIFダイナミクスとSpike Response Model (SRM) マッピングを用いて S-PSP (ε) の寄与を計算（式8）し、総S-PSP寄与を算出（式9）。
• マクロレベルのδ項とマイクロレベルの微分を組み合わせてバックプロパゲーションを行い ∂E/∂wij（式23）と層ごとのδ項（式24）を得る。
• Adamをデータ依存の重み付けで使用し、出力層でのオプションの側方抑制を設けて収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 深いSNNにおけるスパイク不連続性を尊重しつつ、レートコード化された損失の重みへの勾配を算出できるか。
• RQ2 マクロ-マイクロバックプロパゲーション枠組みは既存のSNN BP手法よりもスケーラビリティと精度を改善するか。
• RQ3 訓練効率を犠牲にすることなくスパイク発生時刻情報を組み込むにはどうすればよいか。
• RQ4 HM2-BPのMNIST、N-MNIST、EMNIS、TI46音声ベンチマークにおける実証的な利得は何か。
• RQ5 マイクロレベルのS-PSPをレートと時間成分に分離することで勾配計算は容易になるか。

主な発見

• HM2-BPは複数のベンチマークで最先端の結果を達成：MNIST (99.49%)、N-MNIST (98.88%)、EMNIST (85.57%、800隠れ層)。
• TI46音声では、HM2-BPは800-800の隠れ層で90.98%の精度に到達し、このデータセットにおけるSNNの新記録となる。
• MNIST CNNsにおいて、HM2-BPは99.49%（報告上最高）を達成し、従来のSTBP法と比較して競争力のある訓練エポック数。
• 手法は深い全結合および畳み込みSNNへとスケールし、非同期スパイキングストリームに対して従来の深層学習モデルと競合する性能を示す。
• 分離されたS-PSPモデルは前後の発火レートに関する微分を実現可能にし、非微分可能なスパイクイベントの勾配計算を促進する。