[論文レビュー] Fast and Efficient Asynchronous Neural Computation with Adapting Spiking Neural Networks

Davide Zambrano, Sander M. Bohté|arXiv (Cornell University)|Sep 7, 2016

Advanced Memory and Neural Computing参考文献 3被引用数 43

ひとこと要約

本稿では、広範囲の活性化値を疎で非同期的なスパイクで符号化できる、動的適応を備えたスパイクニューロンを用いた適応型スパイキングニューラルネットワーク（ASNN）を提案する。神経適応とシナプス可塑性を統合することで、ASNNはReLUベースのANNと同等の性能を達成する一方、スパイク数を最大10倍まで削減し、応答速度を最大10倍まで向上させる。これにより、生物学的に妥当な符号化原理に基づいた効率的でイベント駆動型の計算が可能になる。

ABSTRACT

Biological neurons communicate with a sparing exchange of pulses - spikes. It is an open question how real spiking neurons produce the kind of powerful neural computation that is possible with deep artificial neural networks, using only so very few spikes to communicate. Building on recent insights in neuroscience, we present an Adapting Spiking Neural Network (ASNN) based on adaptive spiking neurons. These spiking neurons efficiently encode information in spike-trains using a form of Asynchronous Pulsed Sigma-Delta coding while homeostatically optimizing their firing rate. In the proposed paradigm of spiking neuron computation, neural adaptation is tightly coupled to synaptic plasticity, to ensure that downstream neurons can correctly decode upstream spiking neurons. We show that this type of network is inherently able to carry out asynchronous and event-driven neural computation, while performing identical to corresponding artificial neural networks (ANNs). In particular, we show that these adaptive spiking neurons can be drop in replacements for ReLU neurons in standard feedforward ANNs comprised of such units. We demonstrate that this can also be successfully applied to a ReLU based deep convolutional neural network for classifying the MNIST dataset. The ASNN thus outperforms current Spiking Neural Networks (SNNs) implementations, while responding (up to) an order of magnitude faster and using an order of magnitude fewer spikes. Additionally, in a streaming setting where frames are continuously classified, we show that the ASNN requires substantially fewer network updates as compared to the corresponding ANN.

研究の動機と目的

• 現在のSNNがANNの性能に追いつくために高い発火レートを必要としている非効率性を是正すること。
• 最小限のスパイク使用で非同期的かつイベント駆動型の計算を可能にする生物学的に妥当なスパイキングニューラルネットワークの開発。
• 標準的なディープニューラルネットワークにおけるReLUニューロンの直接的な交換が可能な、適応型スパイクニューロンの実装。
• 適応型スパイクニューロンがスパイク数を著しく削減しながらも高い精度を維持できるかどうかの検証。
• 神経適応とシナプス可塑性を密接に結合させ、層間での信号の正しく復号化が可能となるフレームワークの確立。

提案手法

• 内部活性化レベルに応じてスパイク閾値を動的に調整できる乗法的適応モデルをスパイクニューロンに導入。
• 再発火核ダイナミクスを用いてスパイクタイミングがアナログ値を符号化する非同期パルスシグマデルタ変調（APSDM）の一種を採用。
• 過去のスパイク時刻を保存せずに、γおよびηカーネルを用いた動的システムの定式化により、膜電位および適応状態を計算。
• 下流のニューロンが適応する上流のニューロンからの信号を正しく復号できるように、シナプス可塑性と神経適応を密接に結合。
• 重み再調整や正規化を伴わず、フィードフォワードおよび畳み込みニューラルネットワークにおけるReLUユニットの直接的置換としてASNNを適用。
• 漏れ積分・発火モデルに適応的閾値を組み合わせ、スパイクベースの信号表現の動的範囲を拡大。

実験結果

リサーチクエスチョン

• RQ1 動的適応を備えたスパイクニューロンは、顕著に少ないスパイク数でReLUベースのANNと同等の性能を達成できるか？
• RQ2 神経適応をシナプス可塑性とどのように統合すれば、上流のスパイク信号の正しく復号化が可能になるか？
• RQ3 適応型スパイクニューロンは、アーキテクチャ的・重み的変更なしに、標準的なディープネットワークにおけるReLUニューロンの直接的置換として機能できるか？
• RQ4 提示されたASNNパラダイムは、ストリーミング推論タスクにおいて、ネットワーク更新回数とスパイク数をどの程度削減できるか？
• RQ5 適応型スパイクニューロンを用いたAPSDMベースの符号化方式は、効率的で非同期的かつ疎なニューラル計算を支援するか？

主な発見

• ASNNは、MNISTおよびその他のベンチマークデータセットにおいて、対応するReLUベースのANNと同一の分類性能を達成した。
• ポissonスパイクを用いるSNNと比較して、スパイク数が最大10倍まで削減されたが、精度は維持または向上した。
• 疎でイベント駆動型の計算とスパイク通信の削減により、同等のSNNと比較して応答速度が最大10倍速くなった。
• ストリーミング環境下では、非同期的かつ疎な活性化の特性により、対応するANNと比較してネットワーク更新回数が著しく削減された。
• ReLUユニットを適応型スパイクニューロンに置き換える際、重みの再調整や正規化を一切行わずに済んだことから、直接交換可能なことが確認された。
• 提案されたASNNモデルは、動的適応と再発火カーネルダイナミクスを活用することで、効率的で局所的かつ非同期的な計算を実現した。