[論文レビュー] Fast and deep: energy-efficient neuromorphic learning with first-spike times

Julian Göltz, Laura Kriener+10 more|arXiv (Cornell University)|Dec 24, 2019

Advanced Memory and Neural Computing参考文献 78被引用数 18

ひとこと要約

この論文は、スパikingニューラルネットワークにおける生物学的にインspiredでエネルギー効率の良い学習ルールを提案する。このルールは、最初のスパイク時刻を用いて誤差の誤差逆伝播を実行し、高速かつ低エネルギーな計算を可能にする。この手法は、前シナプスおよび後シナプスのスパイク時刻のみを用いて正確な学習を達成し、BrainScaleS-2ニューロモルフィックプラットフォーム上で検証され、ハードウェア由来の歪みに対しても頑健な性能を示す。

ABSTRACT

For a biological agent operating under environmental pressure, energy consumption and reaction times are of critical importance. Similarly, engineered systems also strive for short time-to-solution and low energy-to-solution characteristics. At the level of neuronal implementation, this implies achieving the desired results with as few and as early spikes as possible. In the time-to-first-spike-coding framework, both of these goals are inherently emerging features of learning. Here, we describe a rigorous derivation of learning such first-spike times in networks of leaky integrate-and-fire neurons, relying solely on input and output spike times, and show how it can implement error backpropagation in hierarchical spiking networks. Furthermore, we emulate our framework on the BrainScaleS-2 neuromorphic system and demonstrate its capability of harnessing the chip's speed and energy characteristics. Finally, we examine how our approach generalizes to other neuromorphic platforms by studying how its performance is affected by typical distortive effects induced by neuromorphic substrates.

研究の動機と目的

• 最初のスパイク時刻を活用することで、スパキングニューラルネットワークにおけるエネルギーと解に至るまでの時間を最小限に抑える学習ルールの開発。
• 入力および出力のスパイク時刻のみを用いて、階層的スパキングネットワークにおける誤差逆伝播を可能にすること。
• BrainScaleS-2ニューロモルフィックハードウェアプラットフォーム上での手法の実現可能性と頑健性の実証。
• 通常のハードウェア由来の歪み下での、異なるニューロモルフィック基盤におけるアプローチの一般化の評価。

提案手法

• 学習ルールは、最初のスパイク時刻のタイミングにのみ依存する、原理的かつ厳密に導出される。
• シナプス重みの更新は、前シナプスおよび後シナプスの最初のスパイク時刻の差に基づいて計算され、局所的かつ生物学的に妥当な学習を可能にする。
• 時間的最初のスパイク時刻コードを介して誤差信号を伝搬させることで、階層的ネットワークの学習を支援する。
• 高速かつ低エネルギーな特性を活かすために、フレームワークはBrainScaleS-2ニューロモルフィックシステム上で実装およびエミュレートされる。
• 時間のジャイターやシナプスのばらつきといった、現実的なハードウェア歪み下での評価により、頑健性をテストする。

実験結果

リサーチクエスチョン

• RQ1 最初のスパイク時刻のみで、スパキングニューラルネットワークにおける誤差の効果的な逆伝播が可能か？
• RQ2 提案された学習ルールは、スパキングネットワークにおける低エネルギーおよび高速推論をどのように達成するか？
• RQ3 BrainScaleS-2ニューロモルフィックハードウェアにデプロイされた際、この手法の性能はいかがなものか？
• RQ4 通常の基盤由来の歪み下で、この手法は異なるニューロモルフィックプラットフォームに一般化できるか？
• RQ5 時間のジャイターやシナプスノイズといったハードウェアの不完全性があっても、学習ルールは正確性を維持できるか？

主な発見

• 提案された学習ルールは、追加の信号や複雑な計算を必要とせず、最初のスパイク時刻のみを用いて、階層的スパキングニューラルネットワークにおける誤差逆伝播を成功裏に実装した。
• 計算に必要なスパイクの数とタイミングを最小限に抑えることで、高速な学習と低エネルギー消費を達成した。
• BrainScaleS-2におけるエミュレーションは、チップの高速性とエネルギー効率を効果的に活用し、競争力のある性能を示した。
• 時間のジャイターやシナプスのばらつきといった一般的なニューロモルフィックハードウェアの歪み下でも、このアプローチは頑健であり、強力な一般化可能性を示した。
• 生物学的および工学的制約（エネルギーと遅延）に適合する、エネルギー効率の良いトレーニングと推論を可能にするフレームワークを提供した。