[論文レビュー] Encoding Spike Patterns in Multilayer Spiking Neural Networks

Gardner Brian, Ioana Sporea+1 more|arXiv (Cornell University)|Mar 31, 2015

Advanced Memory and Neural Computing参考文献 48被引用数 15

ひとこと要約

本稿では、多層発火ニューロンネットワークに対して生物学的に妥当な尤度ベースの学習ルールを提案し、入力パターンを所望の出力発火トレインに正確な時間的符号化で学習可能にする。確率的発火ニューロンモデルにおける目標発火パターンを生成する尤度を、勾配上昇法により最適化することで、複雑な発火タイミングマッピングの高容量学習が可能となり、既存のルールを上回るマッピング容量と複雑性を達成。ノイズ下でもXORのような非線形タスクを効果的に解ける。

ABSTRACT

Information encoding in the nervous system is supported through the precise spike-timings of neurons; however, an understanding of the underlying processes by which such representations are formed in the first place remains unclear. Here we examine how networks of spiking neurons can learn to encode for input patterns using a fully temporal coding scheme. To this end, we introduce a learning rule for spiking networks containing hidden neurons which optimizes the likelihood of generating desired output spiking patterns. We show the proposed learning rule allows for a large number of accurate input-output spike pattern mappings to be learnt, which outperforms other existing learning rules for spiking neural networks: both in the number of mappings that can be learnt as well as the complexity of spike train encodings that can be utilised. The learning rule is successful even in the presence of input noise, is demonstrated to solve the linearly non-separable XOR computation and generalizes well on an example dataset. We further present a biologically plausible implementation of backpropagated learning in multilayer spiking networks, and discuss the neural mechanisms that might underlie its function. Our approach contributes both to a systematic understanding of how pattern encodings might take place in the nervous system, and a learning rule that displays strong technical capability.

研究の動機と目的

• 多層発火ニューロンネットワークが、入力パターンを所望の出力発火トレインに正確な時間的符号化で学習できる生物学的に妥当な学習ルールを開発すること。
• 発火タイミングの不連続性を尊重しつつ、微分可能で勾配ベースのアプローチにより、隠れ層を含む深層発火ネットワークを訓練する課題に対処すること。
• 本手法が、XORのような非線形分離不能なタスクを含め、多数の複雑な入出力発火パターンマッピングを学習できる能力を示すこと。
• STDPなどの既知の神経メカニズムと関連づけることで、多層発火ネットワークにおけるバックプロパゲーションの生物学的に妥当な実装を提供すること。
• 入力ノイズに対する一般化性とロバストネスを示し、実世界のパターン認識タスクにおける性能を検証すること。

提案手法

• 出力発火時刻がネットワークパラメータに滑らかに依存する即時の発火率によって確率的に決定される確率的発火ニューロンモデルを採用し、勾配ベースの最適化が可能になる。
• 合成シナプス重みに関する尤度上昇法を用いて、目標出力発火パターンを生成する対数尤度を最大化することで、尤度ベースの学習ルールを定式化する。
• 学習ルールは複数の層に適用される：隠れ層の重みは出力層から逆伝播された誤差信号に基づき更新され、合成シナプス重みに関する対数尤度の勾配に比例する。
• シナプス多様性とネットワーク表現力の向上を目的に、入力層と隠れ層の間に伝導遅延を導入し、時間シフトされた後シナプス後電位としてモデル化する。
• 安定した学習を確保するため、トレーニング中に合成シナプス重みを制約する：隠れ層重みは0〜100の間、出力層重みは出力ニューロン数に応じて制限またはランダムに初期化する。
• スパイクの離散的性質にもかかわらず、スパイクタイミングの連続的近似を用いることで、微分可能な更新が可能になる。

実験結果

リサーチクエスチョン

• RQ1 尤度ベースの学習ルールは、多層発火ニューロンネットワークが複雑で時間的に正確な入出力発火パターンマッピングを学習可能かどうか。
• RQ2 本手法の学習可能なマッピング数と発火トレイン符号化の複雑性について、既存のルールと比較してどの程度優れているか。
• RQ3 本手法は、発火ネットワークにおける時間符号化を用いて、XOR問題のような非線形分離不能タスクを効果的に学習できるか。
• RQ4 入力ノイズに対して本学習ルールはどの程度ロバストで、未学習の入力パターンに対しても一般化性能が十分に高いか。
• RQ5 本手法が提示するバックプロパゲーションに類似した学習を支える生物学的に妥当な神経メカニズムは何か。

主な発見

• 提案された学習ルールは、多数の複雑な入出力発火パターンマッピングを効果的に学習し、マッピング容量と符号化複雑性の両面で、既存のルールを顕著に上回る。
• 入力ノイズ下でも高い正確性を達成し、有限回の学習エピソード後、ネットワーク性能が最終値の1%以内に安定する。
• 正確な発火タイミング符号化を用いて、線形的に分離不能なXORタスクを効果的に解けることが確認され、非線形計算の能力を示している。
• 実世界のデータセットでも良好な一般化性能を示し、時間的パターン認識における実用的応用の可能性を示している。
• 本学習ルールは、複数回のシミュレーションで一貫して収束し、収束時間（性能が最終値の99%に達するまでのエピソード数）が明確に定義される。
• 本手法は、STDP やシナプス重みダイナミクスといった既知のメカニズムと関連づけることで、多層発火ネットワークにおけるバックプロパゲーションの生物学的に妥当な実装を提供している。