[論文レビュー] Enabling Spike-based Backpropagation in State-of-the-art Deep Neural Network Architectures

Chankyu Lee, Syed Shakib Sarwar+1 more|arXiv (Cornell University)|Mar 15, 2019

Advanced Memory and Neural Computing参考文献 32被引用数 41

ひとこと要約

この論文は、深層SNNにおけるエンド・トゥ・エンドのスパイクベースバックプロパゲーションを可能にするために、漏れ積分・ファイア（LIF）ニューロンの微分可能近似を提案する。MNIST、SVHN、CIFAR-10でVGGおよびリーダルアーキテクチャを用いて、最先端の精度を達成するとともに、時間的ダイナミクスを保持し、スパースでイベント駆動型の推論を可能にする。

ABSTRACT

Spiking Neural Networks (SNNs) has recently emerged as a prominent neural computing paradigm. However, the typical shallow spiking network architectures have limited capacity for expressing complex representations, while training a very deep spiking network have not been successful so far. Diverse methods have been proposed to get around this issue such as converting off-line trained deep Artificial Neural Networks (ANNs) to SNNs. However, ANN-to-SNN conversion scheme fails to capture the temporal dynamics of a spiking system. On the other hand, it is still a difficult problem to directly train deep SNNs using input spike events due to the discontinuous and non-differentiable nature of the spike signals. To overcome this problem, we propose using differentiable (but approximate) activation for Leaky Integrate-and-Fire (LIF) spiking neurons to train deep convolutional SNNs with input spike events using spike-based backpropagation algorithm. Our experiments show the effectiveness of the proposed spike-based learning strategy on state-of-the-art deep networks (VGG and Residual architectures) by achieving the best classification accuracies in MNIST, SVHN and CIFAR-10 datasets compared to other SNNs trained with spike-based learning. Moreover, we analyze sparse event-driven computations to demonstrate the efficacy of proposed SNN training method for inference operation in the spiking domain.

研究の動機と目的

• スパイク信号の非微分性により、入力スパイクイベントを伴う深層スパイクニューラルネットワーク（SNN）の学習が困難であるという課題を克服すること。
• アナログニューラルネットワーク（ANN）からSNNへの変換手法で失われる時間的ダイナミクスを保持しつつ、スパイクベースバックプロパゲーションを用いて深層SNNを直接学習可能にする。
• スパイクイベントを介した勾配伝播を可能にする、LIFニューロンの微分可能近似の開発。
• 提案手法を、画像分類タスクにおける最先端の深層ネットワーク構造（VGGおよびリーダル）上で評価すること。
• 学習済みSNNにおけるスパースでイベント駆動型の推論の効率性を示すこと。

提案手法

• スパイクニューロンの発火行動の微分可能近似を導入し、スパイクイベントを介した勾配計算を可能にする。
• 入力スパイクトレインを用いて、エンド・トゥ・エンドで深層SNNを学習するスパイクベースバックプロパゲーションアルゴリズムを適用する。
• 提案された微分可能なLIFニューロンを、VGGおよびリーダルネットワークアーキテクチャに基づく深層畳み込みSNNに適用する。
• スパイクイベントの固有のスパarsityを活用し、スパース計算を用いたイベント駆動型推論を実装する。
• 事前学習済みのANNや変換パイプラインに依存せずに、スパイク符号化データを直接学習する。
• スパイク非線形性の微分可能近似を通じて勾配を計算し、標準的なバックプロパゲーションでネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 入力スパイクイベントに対するエンド・トゥ・エンド学習を用いたスパイクベースバックプロパゲーションにより、深層SNNを効果的に学習できるか？
• RQ2 提案された微分可能なLIF近似は、既存のSNN学習手法と比較して分類精度で優れているか？
• RQ3 提案手法は、MNIST、SVHN、CIFAR-10といった標準的な画像データセットで最先端の性能を達成できるか？
• RQ4 スパイクイベントのスパarsityが、学習済みSNNにおける効率的推論をどの程度可能にするか？
• RQ5 ANNからSNNへの変換手法と比較して、この手法はスパイキングシステムの時間的ダイナミクスをよりよく保持しているか？

主な発見

• 提案手法は、MNIST、SVHN、CIFAR-10データセットにおいて、スパイクベース学習で学習されたSNNの中で最高の分類精度を達成した。
• 微分可能なLIF近似により、深層SNNにおけるスパイクイベントを介した安定的かつ効果的なバックプロパゲーションが可能になった。
• 本手法は、VGGおよびリーダルアーキテクチャに基づく深層SNNを、入力スパイクイベントを用いて効果的に学習できた。
• 学習済みSNNはスパースでイベント駆動型の推論をサポートしており、スパイクドメインにおける計算効率性を示した。
• ベンチマーク画像分類タスクにおいて、既存のスパイクベース学習手法を上回る性能を発揮した。
• 結果から、微分可能なニューロンを用いた直接的なスパイクベース学習が、高い精度を達成するとともに、時間的ダイナミクスを維持できることを確認した。