[論文レビュー] SpikeGrad: An ANN-equivalent Computation Model for Implementing Backpropagation with Spikes

Johannes Thiele, Olivier Bichler+1 more|arXiv (Cornell University)|Jun 3, 2019

Advanced Memory and Neural Computing被引用数 16

ひとこと要約

SpikeGradは、効率的な学習を可能にする等価な人工ニューラルネットワーク（ANN）を用いて、勾配をスパイクイベントに離散化することで、完全にスパイクベースのバックプロパゲーションアルゴリズムを提案する。スパイクダイナミクスをANN同等にマッピングすることにより、MNIST（99.52%）およびCIFAR10（89.99%）で高い精度を達成し、スパースで低精度のスパイクベースの誤差伝播を実現し、フルプレシジョンバックプロパゲーションと同等の性能を示した。

ABSTRACT

Event-based neuromorphic systems promise to reduce the energy consumption of deep learning tasks by replacing expensive floating point operations on dense matrices by low power sparse and asynchronous operations on spike events. While these systems can be trained increasingly well using approximations of the back-propagation algorithm, these implementations usually require high precision errors for training and are therefore incompatible with the typical communication infrastructure of neuromorphic circuits. In this work, we analyze how the gradient can be discretized into spike events when training a spiking neural network. To accelerate our simulation, we show that using a special implementation of the integrate-and-fire neuron allows us to describe the accumulated activations and errors of the spiking neural network in terms of an equivalent artificial neural network, allowing us to largely speed up training compared to an explicit simulation of all spike events. This way we are able to demonstrate that even for deep networks, the gradients can be discretized sufficiently well with spikes if the gradient is properly rescaled. This form of spike-based backpropagation enables us to achieve equivalent or better accuracies on the MNIST and CIFAR10 dataset than comparable state-of-the-art spiking neural networks trained with full precision gradients. The algorithm, which we call SpikeGrad, is based on accumulation and comparison operations and can naturally exploit sparsity in the gradient computation, which makes it an interesting choice for a spiking neuromorphic systems with on-chip learning capacities.

研究の動機と目的

• スパイクベースのバックプロパゲーションをスパイクベースの推論と完全に統合することで、神経形状ハードウェアにおけるオンチップ学習を可能にすること。
• 高精度の勾配と神経形状システムのスパースで低消費電力の通信インfraストラクチャとの不適合性を解決すること。
• 分類精度を損なわず、勾配を効果的にスパイクイベントに離散化できることを実証すること。
• バックプロパゲートされた勾配のスパarsityを活用して、大規模なスパイキングニューラルネットワークにおけるエネルギー効率の高い学習を実現すること。
• 標準的なバックプロパゲーションを模倣する数学的に根拠のあるスケーラブルなフレームワークを提供すること。

提案手法

• 勾配離散化のための別個の誤差蓄積コンpartmentを備えた2コンpartmentインテグレートアンドファイアニューロンモデルを導入する。
• 符号付きスパイクイベントによるスパイクベースの誤差伝播を用いて、スパースで非同期的な計算を可能にする。
• スパイク蓄積を等価な実数値活性化にマッピングすることで、GPU上で大規模なSNN学習を効率的にシミュレートする等価ANNモデルを採用する。
• スパイクベース勾配の動的範囲を制御し、学習の安定性を向上させるために、要因αによる誤差リスケーリングを適用する。
• 誤差信号をスパイクカウントとして符号化し、固定されたシナプス重みを通じて後退に伝播させる、直接スパイク勾配法を用いる。
• すべての演算をスパイク蓄積および比較として表現することで、前向きおよび後退計算の両方のスパarsityを活用し、MAC演算を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションの勾配を分類精度を損なわず、スパイクイベントに効果的に離散化できるか？
• RQ2 SNNにおけるバックプロパゲート勾配のスパarsityは、ANNと比較してどの程度で、エネルギー効率の向上に活用できるか？
• RQ3 スパイクベースのバックプロパゲーションアルゴリズムは、深層SNNにおいてフルプレシジョン勾配手法と同等の性能を達成できるか？
• RQ4 スパイキングニューラルネットワークのダイナミクスを、訓練の高速化を目的として、等価な人工ニューラルネットワークでどの程度正確にモデル化できるか？
• RQ5 誤差リスケーリング（α）は、スパイクベースバックプロパゲーションの収束性および精度にどのような影響を及えるか？

主な発見

• SpikeGradはMNISTで99.52%のテスト精度を達成し、フルプレシジョン勾配で学習された最先端のSNNと同等またはそれを上回った。
• CIFAR10では、スパイクベース勾配を用いて89.99%の精度に到達し、既存のSNNを上回り、フルプレシジョンベンチマークに近づいた。
• 推論精度が向上するにつれて、バックプロパゲーションにおける合成シナプス演算（ACC）の数が減少し、勾配のスパarsityが増大することが示された。
• ネットワークの深さが増すにつれて勾配のスパarsityが増大し、特に後期の学習エポックでは、より深い層で必要な演算が少なくなる傾向が見られた。
• 等価ANNモデルにより、大規模なSNNの効率的なGPUベースのシミュレーションが可能になり、訓練時間を短縮しながらも、スパイクベース計算の忠実性を保持した。
• 本手法は、スパイクベース誤差伝播が実現可能でスケーラブルであることを示し、神経形状システムにおける完全なイベントベース学習を可能にした。