[論文レビュー] SLAYER: Spike Layer Error Reassignment in Time

Sumit Bam Shrestha, Garrick Orchard|arXiv (Cornell University)|Sep 5, 2018

Seismic Imaging and Inversion Techniques被引用数 473

ひとこと要約

SLAYERは、脈動ニューロンネットワークにおけるシナプス重みと軸索遅延を学習するための一般的なバックプロパゲーション機構を導入し、時空間クレジット割当を用いて誤差を逆伝播させ、既存のSNN手法およびANN-to-SNN変換と比較して複数データセットで最先端の性能を達成するGPU加速実装を提供します。

ABSTRACT

Configuring deep Spiking Neural Networks (SNNs) is an exciting research avenue for low power spike event based computation. However, the spike generation function is non-differentiable and therefore not directly compatible with the standard error backpropagation algorithm. In this paper, we introduce a new general backpropagation mechanism for learning synaptic weights and axonal delays which overcomes the problem of non-differentiability of the spike function and uses a temporal credit assignment policy for backpropagating error to preceding layers. We describe and release a GPU accelerated software implementation of our method which allows training both fully connected and convolutional neural network (CNN) architectures. Using our software, we compare our method against existing SNN based learning approaches and standard ANN to SNN conversion techniques and show that our method achieves state of the art performance for an SNN on the MNIST, NMNIST, DVS Gesture, and TIDIGITS datasets.

研究の動機と目的

• スパイク発生の非微分可能性に対処し、SNNの勾配に基づく学習を可能にする。
• 統一されたバックプロパゲーション枠組みの中で、シナプス重量と軸索遅延の両方を学習する。
• 層をまたいで時間にわたって誤差を伝播させる時系列クレジット割当ポリシーを実装する。
• 完全結合層とCNNアーキテクチャの訓練を可能にするGPU加速ソフトウェア実装を提供する。
• 複数のデータセットで、SLAYERを既存のSNN学習法およびANN-to-SNN変換法と比較する。

提案手法

• SNNの非微分可能なスパイク関数に対応するバックプロパゲーション機構を提案する。
• スパイクベースの表現を最適化するため、シナプス重量と軸索遅延を共同で学習する。
• 時系列の誤差信号を前位の層へ伝播させる時系列クレジット割当ポリシーを採用する。
• 完全結合ネットワークと畳み込みネットワークの訓練能力を備えたGPU加速ソフトウェアを開発する。
• 既存のSNN学習法およびANN-to-SNN変換技術と実証的比較を行う。

実験結果

リサーチクエスチョン

• RQ1 非微分可能なスパイク関数にもかかわらず、重みと遅延の両方を学習することでバックプロパゲーションをSNNに効果的に適用できるか。
• RQ2 精度と学習効率の点で、SLAYERは既存のSNN学習手法およびANN-to-SNN変換法とどう比較されるか。
• RQ3 標準的なSNNベンチマークで軸索遅延を学習することが性能に与える影響は何か。
• RQ4 MNIST、NMNIST、DVS Gesture、TIDIGITSのような畳み込みアーキテクチャとデータセットに対して、GPU加速実装はスケールするか。

主な発見

• SLAYERはMNIST、NMNIST、DVS Gesture、TIDIGITSにおけるSNNの最先端性能を達成する。
• この手法は、重みと遅延の更新を時系列クレジット割当戦略と統合することにより、効果的な学習を可能にする。
• 著者はGPU加速実装を提供し、完全結合とCNNアーキテクチャの双方への適用性を実証している。
• 比較は、既存のSNN学習法およびANN-to-SNN変換技術に対して有利な性能を示している。