[論文レビュー] Towards a learning-theoretic analysis of spike-timing dependent plasticity

David Balduzzi, Michel Besserve|arXiv (Cornell University)|Sep 25, 2012

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本稿では、スパイク時刻依存可塑性（STDP）を備えた漏れ積分・放電ニューロンから派生した生物学的にインスパイアされたニューラルモデル「セレクトロン」を紹介する。このモデルにより、報酬符号化の学習理論的分析が可能となる。本稿では、スパイクの信頼性と有効性がスパイクマージンと合成シナプス重み和によって制御されることを証明し、マルチステイム環境下でのロバスト性を向上させる正則化STDPルールを導出する。

ABSTRACT

This paper suggests a learning-theoretic perspective on how synaptic plasticity benefits global brain functioning. We introduce a model, the selectron, that (i) arises as the fast time constant limit of leaky integrate-and-fire neurons equipped with spiking timing dependent plasticity (STDP) and (ii) is amenable to theoretical analysis. We show that the selectron encodes reward estimates into spikes and that an error bound on spikes is controlled by a spiking margin and the sum of synaptic weights. Moreover, the efficacy of spikes (their usefulness to other reward maximizing selectrons) also depends on total synaptic strength. Finally, based on our analysis, we propose a regularized version of STDP, and show the regularization improves the robustness of neuronal learning when faced with multiple stimuli.

研究の動機と目的

• 生物学的に現実的な神経可塑性と解析的に取り扱いやすい学習モデルを橋渡しすること。
• STDPがスパイク活動に報酬推定を符号化する理論的枠組みを検討すること。
• 報酬最大化ネットワークにおけるスパイクの信頼性と神経間スパイク有効性に関する理論的保証を確立すること。
• 複数の刺激下での学習のロバスト性を向上させる正則化STDPルールを導出すること。
• 皮質ニューロンが局所的可塑性ルールを通じてグローバル最適化を実装する仕組みを理解する学習理論的基盤を提供すること。

提案手法

• 漏れ積分・放電ニューロンの高速時間定数極限から導かれる離散時間・閾値ベースのモデル「セレクトロン」を提案する。
• ヘヴィサイド活性化関数を介して、神経調節的シグナル、シナプス電流、スパイク出力を組み合わせた報酬関数を定義する。
• セレクトロンが経験的報酬推定値をスパイクに符号化する制約付き報酬最大化問題を定式化する。
• スパイク予測の0/1損失に対する上界を、スパイクマージンと合成シナプス重みのℓ1ノルムを用いて導出する。
• 下流ニューロンにおけるスパイク有効性の下界を確立し、それが総シナプス強度とスパイク相関性に依存することを示す。
• 理論的知見に基づき、マルチステイム環境下でのロバスト性を向上させる正則化STDPルールを提案する。

実験結果

リサーチクエスチョン

• RQ1 スパイク時刻依存可塑性（STDP）を、生物学的に妥当な神経モデルにおいて報酬最大化と正式に結びつける方法は何か？
• RQ2 スパイクが神経調節的結果を予測する信頼性について、どのような理論的保証を提供できるか？
• RQ3 総シナプス重みが、報酬最大化ネットワークにおける下流ニューロンにとってのスパイクの有用性にどのように影響するか？
• RQ4 複数の刺激が存在する状況で、正則化STDPルールが学習のロバスト性を向上させられるか？
• RQ5 スパイクマージンとシナプス重み和は、学習パフォーマンスの制御に果たす役割は何か？

主な発見

• セレクトロンモデルは、STDPを備えた漏れ積分・放電ニューロンの高速時間定数極限として導出され、生物学的に根拠がある一方で解析的に取り扱いやすいフレームワークを提供する。
• スパイク予測の0/1損失に対する上界は、スパイクマージンと合成シナプス重みのℓ1ノルムによって制御され、報酬推定値の信頼性の高い符号化を保証する。
• 下流報酬に与えるニューロンのスパイクの有効性は、スパイク相関性、シナプス重み、発火周波数を含む関数によって下界が保証される。
• 総シナプス重み和（‖w‖₁）は、スパイクの信頼性と有効性の両者において中心的役割を果たし、報酬最大化問題における制約としてのその有用性を正当化する。
• 理論的分析により、提案された正則化STDPルールが、古典的STDPと比較してマルチステイム環境下での学習のロバスト性を向上させることを検証した。
• 仮定（*）— 上游ニューロンのスパイクが高い神経調節的報酬を予測する— が成り立つ場合、スパイク有効性に意味のある下界が得られ、ネットワークレベルの報酬と局所的可塑性の間の関連が明確にされる。