[論文レビュー] Training spiking multi-layer networks with surrogate gradients on an analog neuromorphic substrate

Benjamin Cramer, Sebastian Billaudelle+10 more|arXiv (Cornell University)|Jun 12, 2020

Advanced Memory and Neural Computing参考文献 75被引用数 21

ひとこと要約

本稿では、アナログのNeuromorphicチップBrainScales-2上で、スパイク勾配の代理関数を用いた、ハードウェア・イン・ザ・ループ訓練手法を提示する。前方伝搬をハードウェアで実行し、逆伝搬をソフトウェアで計算することで、低消費電力（300 mW未満）かつ高スループット（1秒間に70,000パターン）で、MNISTデータセットで97.5％の高い精度を達成した。これは、アナログ基板上での効率的でスパースかつエネルギーに配慮したスパイキングニューラルネットワーク処理の実現を示している。

ABSTRACT

Spiking neural networks are nature's solution for parallel information processing with high temporal precision at a low metabolic energy cost. To that end, biological neurons integrate inputs as an analog sum and communicate their outputs digitally as spikes, i.e., sparse binary events in time. These architectural principles can be mirrored effectively in analog neuromorphic hardware. Nevertheless, training spiking neural networks with sparse activity on hardware devices remains a major challenge. Primarily this is due to the lack of suitable training methods that take into account device-specific imperfections and operate at the level of individual spikes instead of firing rates. To tackle this issue, we developed a hardware-in-the-loop strategy to train multi-layer spiking networks using surrogate gradients on the analog BrainScales-2 chip. Specifically, we used the hardware to compute the forward pass of the network, while the backward pass was computed in software. We evaluated our approach on downscaled 16x16 versions of the MNIST and the fashion MNIST datasets in which spike latencies encoded pixel intensities. The analog neuromorphic substrate closely matched the performance of equivalently sized networks implemented in software. It is capable of processing 70 k patterns per second with a power consumption of less than 300 mW. Added activity regularization resulted in sparse network activity with about 20 spikes per input, at little to no reduction in classification performance. Thus, overall, our work demonstrates low-energy spiking network processing on an analog neuromorphic substrate and sets several new benchmarks for hardware systems in terms of classification accuracy, processing speed, and efficiency. Importantly, our work emphasizes the value of hardware-in-the-loop training and paves the way toward energy-efficient information processing on non-von-Neumann architectures.

研究の動機と目的

• スパイクベースの活動がスパースなアナログニューロモルフィックハードウェア上で、スパイキングニューラルネットワークを訓練する課題に対処すること。
• 発火頻度に依存する従来の訓練手法が、デバイス固有の不具合を無視するという限界を克服すること。
• ハードウェアとソフトウェアの計算を統合することで、アナログニューロモルフィック基板上でエンド・ツー・エンドの深層スパイキングネットワーク訓練を可能にすること。
• 非バーチャル・ニューマン・フレームワーク内において、高い分類精度、低い消費電力、高速な処理速度を達成すること。

提案手法

• 前方伝搬をアナログのBrainScales-2ニューロモルフィックチップで実行し、逆伝搬をソフトウェアで代理勾配を用いて計算するハードウェア・イン・ザ・ループ訓練戦略を採用する。
• MNISTおよびファッションMNISTデータセットの画素強度をスパイク遅延に符号化することで、スパイキングネットワークにおける時間的符号化を可能にする。
• 非微分可能なスパイク生成ニューロンを介して誤差信号を逆伝搬可能にするために、代理勾配を用いる。これにより、スパイクの離散的性質にもかかわらずエンド・ツー・エンドの訓練が可能になる。
• スパースなネットワーク活動を促進するための活動正則化を適用し、入力ごとの平均スパイク数を約20に削減しながら、性能の低下を防ぐ。
• アナログハードウェアの制約に適応した、代理勾配を用いた時間遡及バックプロパゲーションにより、マルチレイヤーのスパイキングネットワークを訓練する。
• 計算負荷を軽減しながら分類精度を保持するため、MNISTおよびファッションMNISTの縮小版（16x16）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 デバイス固有の不具合を有するアナログニューロモルフィック基板上で、スパイキングニューラルネットワークを深層的に訓練するために、代理勾配バックプロパゲーションを効果的に適用できるか？
• RQ2 同じデータセット上で、ソフトウェア実装と比較して、ハードウェア・イン・ザ・ループ訓練が分類精度をどの程度保持できるか？
• RQ3 アナログニューロモルフィックハードウェアは、処理速度および消費電力の観点から、スパイキングパターンをどの程度効率的に処理できるか？
• RQ4 活動正則化により、分類性能を損なわず、入力ごとに約20スパイクのスパースなスパイク活動を達成できるか？
• RQ5 アナログニューロモルフィックハードウェア上でスパイキングネットワークを直接訓練する際、エネルギー効率、処理速度、精度の間にはどのようなトレードオフが生じるか？

主な発見

• ハードウェア・イン・ザ・ループ訓練手法により、16x16 MNISTデータセットで97.5％の分類精度を達成し、ソフトウェア実装のネットワークと同等の性能を示した。
• システムは300 mW未満の消費電力で1秒間に70,000パターンを処理し、高い処理効率を実証した。
• 活動正則化により、平均スパイク数を入力ごとに約20に削減することができ、高い分類精度を維持した。
• アナログニューロモルフィック基板はソフトウェアベースの同等品とほぼ同等の性能を示し、スパイキングネットワークの訓練に適していることが検証された。
• 本手法は、ハードウェアベースのスパイキングニューラルネットワークシステムにおいて、分類精度、処理速度、エネルギー効率の分野で新たなベンチマークを設定した。
• 結果として、スパイキングニューラルネットワークをアナログニューロモルフィックハードウェア上で直接、代理勾配を用いて訓練可能であることが示され、エネルギー効率が高く非バーチャル・ニューマン型のコンピューティングの実現に向けた道筋が示された。