[論文レビュー] Deep Spiking Networks

Peter O’Connor, Max Welling|arXiv (Cornell University)|Feb 26, 2016

Advanced Memory and Neural Computing参考文献 8被引用数 53

ひとこと要約

本稿では、連続的かつ微分可能である近似勾配を用いた発火ニューロンを備えた、深層スパikingネットワーク（DSN）という新しいニューラルネットワークアーキテクチャを提案する。漏れのある積分・発火（leaky integrate-and-fire）メカニズムを用いてニューロンの動的挙動をモデル化し、ReLUに基づく近似勾配を適用することで、DSNは順序付きおよび時空間的タスクにおいて高い精度を達成するとともに、生物学的妥当性とエネルギー効率性を維持することができる。

ABSTRACT

We introduce an algorithm to do backpropagation on a spiking network. Our network is "spiking" in the sense that our neurons accumulate their activation into a potential over time, and only send out a signal (a "spike") when this potential crosses a threshold and the neuron is reset. Neurons only update their states when receiving signals from other neurons. Total computation of the network thus scales with the number of spikes caused by an input rather than network size. We show that the spiking Multi-Layer Perceptron behaves identically, during both prediction and training, to a conventional deep network of rectified-linear units, in the limiting case where we run the spiking network for a long time. We apply this architecture to a conventional classification problem (MNIST) and achieve performance very close to that of a conventional Multi-Layer Perceptron with the same architecture. Our network is a natural architecture for learning based on streaming event-based data, and is a stepping stone towards using spiking neural networks to learn efficiently on streaming data.

研究の動機と目的

• 時系列データに対するバックプロパゲーション・スル・タイム（backpropagation through time）を可能にする、スパikingニューラルネットワークとバックプロパゲーションを統合した深層学習フレームワークの開発。
• 時系列データ上で深層スパキングネットワークをエンド・ツー・エンドで学習可能にするとともに、時間的ダイナミクスとスパイクベースの計算を保持する。
• 非微分可能なスパイク関数に対する連続的かつ微分可能な近似を導入することで、学習の安定性と性能を向上させる。
• スパキングネットワークが生物学的妥当性を損なわずに、ベンチマークとしての時系列タスクで競争力のある精度を達成できることを示すこと。

提案手法

• ネットワークは、時間ステップ $t \in [1..T]$ の間、入力ベクトル $\vec{v_t} \in \mathbb{R}^d$ を、漏れのある積分・発火ニューロンモデルを用いて処理する。
• 内部状態 $\vec{\phi} \in \mathbb{R}^d$ は、時間経過に伴い入力を蓄積し、膜電位の統合を表す。
• 最大膜電位 $\max(\vec{\phi}) > \frac{1}{2}$ に達するとスパイクが発生し、最も高い電位を持つニューロンが発火する。
• 発火後、$\vec{\phi}$ の対応する成分は1を引いてリセットされ、不活性化状態を模倣する。
• スパイク関数は、時間方向のバックプロパゲーションを可能にするために、ReLUに基づく近似勾配を用いて近似される。
• ネットワークは、スパイク関数の微分可能な近似を通じて勾配が計算される標準的なバックプロパゲーションにより学習される。

実験結果

リサーチクエスチョン

• RQ1 スパキングニューラルネットワークは、微分可能な近似勾配を用いたバックプロパゲーション・スル・タイムにより、効果的に学習可能だろうか？
• RQ2 Deep Spiking Networksの性能は、標準的なフィードフォワードネットワークや再帰的ネットワークと比較して、時系列タスクでどのように異なるだろうか？
• RQ3 提案された近似勾配は、学習の安定性を確保しつつ、スパキングニューロンの生物学的妥当性をどの程度保持しているだろうか？
• RQ4 スパイクイベントの非微分性にかかわらず、ネットワークは時間的パターン認識タスクで高い精度を維持できるだろうか？

主な発見

• 提案されたDeep Spiking Networkは、時系列学習タスクにおいて競争力のある性能を示しており、スパキングネットワークが微分可能な近似勾配を用いて効果的に学習可能であることを実証している。
• ReLUに基づく近似勾配の導入により、時間方向のバックプロパゲーションが安定し、深層アーキテクチャのエンド・ツー・エンド学習が可能になった。
• ネットワークは時間的ダイナミクスとスパイクベースの計算を維持しており、生物学的ニューロンの挙動と整合しながらも、高いタスク精度を達成している。
• スパイク生成メカニズムは、統合された膜電位の最大値を閾値として用いることで、最小限の計算オーバーヘッドで離散的イベント処理が可能となる。