[論文レビュー] Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural Networks

Wenrui Zhang, Peng Li|arXiv (Cornell University)|Feb 24, 2020

Advanced Memory and Neural Computing参考文献 24被引用数 119

ひとこと要約

この論文は TSSL-BP を紹介する。深層スパーキングニューラルネットワークを訓練するための逆伝播ベースの手法で、任意の目標時系列スパイク列を超低遅延（5–10 time steps）で学習し、MNIST、N-MNIST、FashionMNIST、CIFAR10 で精度を向上させる。

ABSTRACT

Spiking neural networks (SNNs) are well suited for spatio-temporal learning and implementations on energy-efficient event-driven neuromorphic processors. However, existing SNN error backpropagation (BP) methods lack proper handling of spiking discontinuities and suffer from low performance compared with the BP methods for traditional artificial neural networks. In addition, a large number of time steps are typically required to achieve decent performance, leading to high latency and rendering spike-based computation unscalable to deep architectures. We present a novel Temporal Spike Sequence Learning Backpropagation (TSSL-BP) method for training deep SNNs, which breaks down error backpropagation across two types of inter-neuron and intra-neuron dependencies and leads to improved temporal learning precision. It captures inter-neuron dependencies through presynaptic firing times by considering the all-or-none characteristics of firing activities and captures intra-neuron dependencies by handling the internal evolution of each neuronal state in time. TSSL-BP efficiently trains deep SNNs within a much shortened temporal window of a few steps while improving the accuracy for various image classification datasets including CIFAR10.

研究の動機と目的

• SNN において、目標時系列スパイク列を正確に学習する逆伝播法を実証する。
• 時刻精度を保つためにスパイクの非微分可能性を滑らかにせず対処する。
• 遅延とエネルギー消費を削減するために短い時間窓（5–10 time steps）での訓練と推論を可能にする。
• 複数の画像データセットにわたって、既存の SNN BP 法より精度が向上することを示す。

提案手法

• 時間的ダイナミクスを捉えるために、誤差逆伝播をニューロン間依存とニューロン内依存に分解する。
• 前シナプス発火時刻を用いてニューロン間依存をモデル化し、スパイクの全か無か動作を反映する。
• 時間と発火タイミングに沿った神経状態の進化を分析することで、ニューロン内依存をモデル化する。
• 望ましいスパイク列と実際のスパイク列の Van Rossum 距離に基づく損失を定義し、2 チャネル依存性アプローチで時間を通じて逆伝播する。
• 前シナプティック発火時刻に対する PSC の導関数を導出し、スパイク活性化の平滑化を避ける。
• CNN および全結合 SNN アーキテクチャでの訓練を実証し、MNIST、NMNIST、FashionMNIST、CIFAR10 を評価する。

実験結果

リサーチクエスチョン

• RQ1 TSSL-BP は深部SNNを訓練して高精度で任意の時系列スパイク列を学習できるか？
• RQ2 スパイクの不連続性を平滑化せずに扱うために、ニューロン間およびニューロン内の時系列依存性をどのように定式化できるか？
• RQ3 SNNの訓練と推論で競争力のある精度を達成するための遅延（時間ステップ数）はどのくらいか？
• RQ4 既存の SNN BP 法、変換された SNN、ANN と比較して、標準的な画像データセットで TSSL-BP はどのような性能か？

主な発見

• TSSL-BP はデータセット全体で短い時間窓の 5–10 time steps で高い精度を達成する。
• MNIST では、5 time steps で最大 99.53% の精度に達し、多くの SNN BP 法を上回り最先端と一致しつつ、一部の手法と比較して遅延を約 80 倍削減。
• N-MNIST では、30 time steps で最高 99.40% の精度を達成（いくつかのベースラインで報告された 10x の削減に対して 3.3x を達成）。
• FashionMNIST では、全結合ネットワークで 89.80%、スパイキングCNNで 92.83% を 5 time steps で達成し、いくつかの従来手法を上回る。
• CIFAR10 では、5 time steps のみで 89.22% (CNN1) および 91.41% (CNN2) の精度を達成し、変換SNNおよび STBP 系の改良を示す。
• 提案手法は訓練済みネットワークでスパース発火を生み出す（例: CIFAR10 を 5 time steps で 84%以上無発火、N-MNIST を 100 steps で 75% 以上無発火）。