[論文レビュー] Hebbian Synaptic Modifications in Spiking Neurons that Learn

Peter L. Bartlett, Jonathan Baxter|arXiv (Cornell University)|Nov 17, 2019

Advanced Memory and Neural Computing参考文献 18被引用数 16

ひとこと要約

この論文は、直接強化学習アルゴリズムに基づいて導出された、スパikingニューロンの生物学的に妥当なシナプスプラスティシティ則を提案する。この則は、長期的報酬を最大化することを学習目標とし、バックプロパゲーションや勾配計算を必要とせず、局所的な前・後発火活動とグローバルな報酬信号のみを用いる。この方法により、パターン分類およびモーターコントロールタスクにおいて局所最適な性能が達成される。

ABSTRACT

In this paper, we derive a new model of synaptic plasticity, based on recent algorithms for reinforcement learning (in which an agent attempts to learn appropriate actions to maximize its long-term average reward). We show that these direct reinforcement learning algorithms also give locally optimal performance for the problem of reinforcement learning with multiple agents, without any explicit communication between agents. By considering a network of spiking neurons as a collection of agents attempting to maximize the long-term average of a reward signal, we derive a synaptic update rule that is qualitatively similar to Hebb's postulate. This rule requires only simple computations, such as addition and leaky integration, and involves only quantities that are available in the vicinity of the synapse. Furthermore, it leads to synaptic connection strengths that give locally optimal values of the long term average reward. The reinforcement learning paradigm is sufficiently broad to encompass many learning problems that are solved by the brain. We illustrate, with simulations, that the approach is effective for simple pattern classification and motor learning tasks.

研究の動機と目的

• スパikingニューロンのシナプスプラスティシティ則を、生物学的に妥当であり、かつ長期的パフォーマンスを最適化できるように開発すること。
• 強化学習の原則が、局所的に利用可能な信号とグローバルな報酬のみを用いて、ヘブ則に類似した更新則を導出できることを示すこと。
• この則が、バックプロパゲーションを必要とせず、パターン分類および適応制御タスクにおいて有効な学習を可能にすることを実証すること。
• このような則が、ニューラルネットワークにおける局所最適なシナプス重みにどのように到達するかの理論的基盤を確立すること。

提案手法

• REINFORCEファミリーに属する直接強化学習アルゴリズムに基づいて、スパikingニューロンに適応させたシナプス更新則を導出する。
• グローバルに利用可能ではあるが、更新則では局所的にのみ適用される報酬信号を用い、生物学的妥当性を確保する。
• スパikingニューロンのネットワークを、協力的エージェントとしてモデル化し、各ニューロンが局所的活動とグローバル報酬に基づいて自身のシナプス重みを最適化する。
• 漏れ統合と単純な加算演算を用いてエリギビリティトレースを計算し、複雑な勾配バックプロパゲーションを回避する。
• 時間的感度を制御するパラメータβを導入し、定常入力パターンではβ = 0.5が最適であることが示された。
• 学習則を分解し、各シナプスが周囲の前・後発火活動とグローバル報酬のみを用いて独立に更新可能であるようにする。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づくシナプスプラスティシティ則は、生物学的に妥当であり、スパikingニューラルネットワークにおける学習に有効であると導出可能か？
• RQ2 前・後発火活動とグローバル報酬のみに依存する局所的シナプス更新則は、神経回路において局所最適なパフォーマンスをもたらすか？
• RQ3 このような則は、パターン分類やモーターコントロールなどのタスクにおいて、バックプロパゲーションや勾配計算を一切用いずに学習を達成できるか？
• RQ4 報酬信号の時間的構造とシナプスエリギビリティトレースの影響は、学習パフォーマンスにどのように作用するか？

主な発見

• 提案されたシナプス更新則は、ソナー・パターン分類タスクで訓練誤差約10%を達成し、標準的なバックプロパゲーション手法と同等の性能を示した。
• 逆ピロット制御タスクでは、アルゴリズムがピロットのバランスを正しく学習し、シミュレーション時間の経過とともに転倒までの平均時間が増加した。
• 逆ピロットの学習曲線は、徐々に改善が見られ、シミュレーション時間約2000秒後にパフォーマンスが安定化した。
• ネットワークを後退して勾配情報を伝搬させることなく、効果的な学習が達成された。
• ソナー分類タスクにおける100回の独立実験において、誤差率のばらつきが小さく、一貫した性能が得られた。
• 定常入力パターンでは、時間的減衰パラメータβの最適値が0.5であることが判明し、時間的感度と安定性のバランスが取れている。