[論文レビュー] Fast and deep neuromorphic learning with time-to-first-spike coding

Julian Göltz, Andreas Baumbach+9 more|arXiv (Cornell University)|Dec 24, 2019

Advanced Memory and Neural Computing被引用数 17

ひとこと要約

この論文は、時間による最初のスパイクまでの時間コード化を用いた、生物学的に妥当でエネルギー効率の良い学習ルールを提示し、高速な推論と低消費電力の実現を可能にしている。漏れあり積分・発火ニューロンの有限時間定数を用いた誤差逆伝播法を導出し、神経形状ハードウェアに最適化された逆伝播プロセスを実現した。本手法は、2世代にわたるBrainScaleS神経形状プラットフォーム上で、効率的な学習を示している。

ABSTRACT

For a biological agent operating under environmental pressure, energy consumption and reaction times are of critical importance. Similarly, engineered systems also strive for short time-to-solution and low energy-to-solution characteristics. At the level of neuronal implementation, this implies achieving the desired results with as few and as early spikes as possible. In the time-to-first-spike coding framework, both of these goals are inherently emerging features of learning. Here, we describe a rigorous derivation of error-backpropagation-based learning for hierarchical networks of leaky integrate-and-fire neurons. We explicitly address two issues that are relevant for both biological plausibility and applicability to neuromorphic substrates by incorporating dynamics with finite time constants and by optimizing the backward pass with respect to substrate variability. This narrows the gap between previous models of first-spike-time learning and biological neuronal dynamics, thereby also enabling fast and energy-efficient inference on analog neuromorphic devices that inherit these dynamics from their biological archetypes, which we demonstrate on two generations of the BrainScaleS analog neuromorphic architecture.

研究の動機と目的

• スパイキングニューラルネットワークにおける時間による最初のスパイクまでの時間コード化を活用することで、高速な推論と低消費電力の学習ルールの開発。
• 有限時間定数を学習フレームワークに組み込むことで、生物学的ニューロンダイナミクスと神経形状ハードウェアのギャップを埋める。
• アナログ神経形状システムにおける基盤のばらつきを考慮した逆誤差伝播プロセスの最適化により、耐障害性と効率性の向上。
• 神経形状基盤上で階層的ディープラーニングを実現しつつ、生物学的妥当性とエネルギー効率を維持する。

提案手法

• 時間による最初のスパイクまでの時間コード化を用いた、漏れあり積分・発火ニューロンの階層的ネットワークに対する誤差逆伝播法の導出。
• 生物学的および神経形状ハードウェアの挙動をよりよく反映するために、ニューロンダイナミクスに有限時間定数を組み込む。
• BrainScaleSなどのアナログ神経形状基盤に内在するばらつきを考慮した逆伝播の最適化。
• 最初のスパイクのタイミングに注目することで、スパイク数と反応時間を自然に最小化する学習ルールの導入。
• 性能の妥当性を検証するため、2世代にわたるBrainScaleSアナログ神経形状アーキテクチャに本フレームワークを適用。
• 学習ルールが微分可能であり、標準的なディープラーニング最適化手法と互換性を保つことを保証。

実験結果

リサーチクエスチョン

• RQ1 生物学的に現実的なダイナミクスを有するスパイキングニューラルネットワークに対して、時間による最初のスパイクまでの時間コード化を用いた誤差逆伝播法を厳密に導出可能か？
• RQ2 ニューロンダイナミクスにおける有限時間定数を、神経形状ハードウェア向けの微分可能な学習フレームワークに統合する方法は何か？
• RQ3 アナログ神経形状基盤におけるハードウェアのばらつきに耐性を持つように、逆伝播をどの程度最適化できるか？
• RQ4 提案された学習ルールは、BrainScaleSのようなアナログ神経形状プラットフォーム上で、高速かつエネルギー効率の良い推論を可能にするか？
• RQ5 時間による最初のスパイクまでの時間コード化方式は、学習においてスパイク数を低減し、反応時間を短くするメカニズムをどのように自然にサポートするか？

主な発見

• 提案された学習ルールは、時間による最初のスパイクまでの時間コード化により、スパイク数と反応時間を最小化することで高速な推論を実現する。
• 学習フレームワークに有限時間定数を組み込むことで、生物学的および神経形状ハードウェアのダイナミクスとの整合性が向上する。
• アナログ神経形状基盤に内在するばらつきを考慮した逆伝播の最適化により、学習の安定性と性能が向上する。
• 本手法は、2世代にわたるBrainScaleS神経形状プラットフォーム上で効果的な学習を達成し、スケーラビリティと耐障害性を示している。
• フレームワークは、初期かつスパarsなスパイク活動を好むことから、エネルギー効率の高い解への到達を自然にサポートする。
• 導出された学習ルールは、標準的な逆誤差伝播法と互換性を保ちつつ、アナログ神経形状ハードウェアへの実装に適している。