[論文レビュー] Spiking Neural Predictive Coding for Continual Learning from Data Streams

Alexander G. Ororbia|arXiv (Cornell University)|Aug 23, 2019

Advanced Memory and Neural Computing参考文献 99被引用数 5

ひとこと要約

本稿では、予測符号化に基づくスパikingニューラルネットワーク（SNN）を用いた生物学的に妥当で、オンライン継続的学習が可能なフレームワーク、Spiking Neural Coding（SpNC）を提案する。この手法は、漏れ積分および発火（LIF）ニューロンと、災難的忘却を低減する新しいシナプス更新則を用いた局所的で反復的な「推測と検証」メカニズムを採用しており、標準的なバックプロパゲーションに基づくSNNと比較して、分類性能に優れ、計算効率が向上し、生物学的妥当性も向上している。

ABSTRACT

For energy-efficient computation in specialized neuromorphic hardware, we present spiking neural coding, an instantiation of a family of artificial neural models grounded in the theory of predictive coding. This model, the first of its kind, works by operating in a never-ending process of "guess-and-check", where neurons predict the activity values of one another and then adjust their own activities to make better future predictions. The interactive, iterative nature of our system fits well into the continuous time formulation of sensory stream prediction and, as we show, the model's structure yields a local synaptic update rule, which can be used to complement or as an alternative to online spike-timing dependent plasticity. In this article, we experiment with an instantiation of our model consisting of leaky integrate-and-fire units. However, the framework within which our system is situated can naturally incorporate more complex neurons such as the Hodgkin-Huxley model. Our experimental results in pattern recognition demonstrate the potential of the model when binary spike trains are the primary paradigm for inter-neuron communication. Notably, spiking neural coding is competitive in terms of classification performance and experiences less forgetting when learning from task sequence, offering a more computationally economical, biologically-plausible alternative to popular artificial neural networks.

研究の動機と目的

• 標準的な人工ニューラルネットワークが継続的かつリアルタイム学習において抱える限界を克服し、生物学的に妥当でエネルギー効率の高い代替手法を開発すること。
• 予測符号化の原則をスパikingニューラルネットワークに統合することで、人工的および生物学的ニューラル計算のギャップを埋めること。
• バックプロパゲーションを必要とせず、SNNにおけるオンライン学習を可能にする局所的で段階的なシナプス更新則を設計すること。
• 順次的なタスクストリームにおける継続的学習のシナリオにおいて、モデルの性能を評価し、一般化性能と忘却の緩和に焦点を当てる。
• 疎なスパイクベース通信と低エネルギー計算を活用することで、神経形状ハードウェアへの効率的なデプロイを可能にすること。

提案手法

• 情報は正確なタイミングに基づくスパイクトレインによって符号化される、漏れ積分および発火（LIF）ニューロンを用いてスパイク活動をシミュレートする。
• ニューロンが連続時間において下流ユニットの活動を繰り返し予測し、修正する予測符号化フレームワークを実装する。
• 予測符号化から導出された、新しい局所的シナプス更新則（SpNCN-LatおよびSpNCN-Bufの2種類）を採用し、バックプロパゲーションを必要とせずに段階的な重み調整を可能にする。
• 学習則は、予測誤差に基づいて重みを更新する残差誤差最小化プロセスとして定式化されており、継続的学習を支援する。
• 柔軟な計算アーキテクチャを備えているため、Hodgkin-Huxleyモデルのようなより複雑なニューロンモデルへの応用も可能で、汎用性が高い。
• 固定された学習ウィンドウやバッチ処理を必要とせず、オンラインでストリーミング形式で学習が行われる。

実験結果

リサーチクエスチョン

• RQ1 予測符号化に基づくスパikingニューラルネットワークは、バックプロパゲーションを用いずに、継続的学習において競争力のある分類性能を達成できるか？
• RQ2 順次的なタスクにおいて、提案されたSpNCNモデルはSTDPに基づくSNNと比較して、忘却と一般化性能の点でどのように異なるか？
• RQ3 SpNCNにおける局所的で反復的な更新則は、ストリーミングデータ環境における安定的かつ段階的な学習をどの程度サポートできるか？
• RQ4 モデルの構造と学習則は、神経形状システムにおけるエネルギー効率と生物学的妥当性をどのように向上させるか？
• RQ5 SpNCNフレームワークは、LIFモデルをはるかに超えるより複雑なニューロンダイナミクスへと拡張可能か？

主な発見

• SpNCNモデルは、順次的なMNISTおよびCIFAR-100タスクにおいて、STDPで学習されたベースラインSNNと比較して、一般化性能に優れた競争力ある分類精度を達成した。
• SpNCN-Latバージョンは、SpNCN-Bufや他のベースラインと比較して、著しく低い災難的忘却を示し、表現空間におけるクラスクラスタが明確に分離されている。
• SpNCN-Bufモデルは、より高い忘却と構造のない表現を示し、クラスタが重複していたため、継続的学習における安定性が低いことが確認された。
• 提案された局所的シナプス更新則により、バックプロパゲーションや時間ウィンドウを必要とせず、効果的なオンライン学習が可能となり、リアルタイム神経形状システムに適している。
• 疎なスパイクベース通信と局所的学習則のおかげで、計算経済性と生物学的妥当性が向上した。
• フレームワークは拡張可能であり、Hodgkin-Huxleyモデルのようなより複雑なニューロンモデルへの適応が可能であり、同時にコアな学習メカニズムを保持している。