[论文解读] Towards a learning-theoretic analysis of spike-timing dependent plasticity

David Balduzzi, Michel Besserve|arXiv (Cornell University)|Sep 25, 2012

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出了'选择子'（selectron），一种源自漏电积分-发放神经元并结合了脉冲时间依赖可塑性（STDP）的生物启发神经模型，实现了对奖励编码的学习理论分析。研究证明，脉冲可靠性和有效性由脉冲裕度及总突触权重之和控制，进而推导出一种正则化的STDP规则，提升了多刺激环境下的鲁棒性。

ABSTRACT

This paper suggests a learning-theoretic perspective on how synaptic plasticity benefits global brain functioning. We introduce a model, the selectron, that (i) arises as the fast time constant limit of leaky integrate-and-fire neurons equipped with spiking timing dependent plasticity (STDP) and (ii) is amenable to theoretical analysis. We show that the selectron encodes reward estimates into spikes and that an error bound on spikes is controlled by a spiking margin and the sum of synaptic weights. Moreover, the efficacy of spikes (their usefulness to other reward maximizing selectrons) also depends on total synaptic strength. Finally, based on our analysis, we propose a regularized version of STDP, and show the regularization improves the robustness of neuronal learning when faced with multiple stimuli.

研究动机与目标

• 将生物上合理的神经可塑性与可分析的可学习模型相连接。
• 探究STDP如何通过理论框架将奖励估计编码为放电活动。
• 为奖励最大化网络中的脉冲可靠性及神经元间脉冲有效性提供理论保证。
• 推导出一种正则化的STDP规则，以提升在多刺激环境下的学习鲁棒性。
• 为理解皮层神经元如何通过局部可塑性规则实现全局优化，提供学习理论基础。

提出的方法

• 提出'选择子'作为离散时间、基于阈值的模型，源自漏电积分-发放神经元在快速时间常数极限下的STDP模型。
• 通过Heaviside激活函数，将奖励函数定义为包含 neuromodulatory 信号、突触电流和放电输出的组合。
• 引入一个受约束的奖励最大化问题，使选择子能够将经验奖励估计编码为脉冲。
• 利用脉冲裕度和突触权重的ℓ1-范数，推导出脉冲预测0/1损失的上界。
• 建立下游神经元脉冲有效性的下界，表明其依赖于总突触强度和脉冲相关性。
• 基于理论洞见，提出一种正则化的STDP规则，通过调整可塑性以提升多刺激环境下的鲁棒性。

实验结果

研究问题

• RQ1 如何在生物上合理的神经模型中，形式化地将脉冲时间依赖可塑性（STDP）与奖励最大化联系起来？
• RQ2 能够为脉冲作为神经调制结果预测的可靠性提供哪些理论保证？
• RQ3 总突触权重如何影响奖励最大化网络中脉冲对下游神经元的有用性？
• RQ4 在存在多个刺激的情况下，正则化的STDP规则是否能提升学习鲁棒性？
• RQ5 脉冲裕度和突触权重之和在控制学习性能方面起什么作用？

主要发现

• 选择子模型是漏电积分-发放神经元在快速时间常数极限下STDP的自然结果，提供了一个生物基础坚实且可分析的框架。
• 脉冲预测0/1损失的上界由脉冲裕度和突触权重的ℓ1-范数控制，确保了奖励估计的可靠编码。
• 神经元脉冲影响下游奖励的有效性存在一个下界，该下界依赖于脉冲相关性、突触权重和放电频率。
• 总突触权重之和（‖w‖₁）在脉冲可靠性和有效性中均起核心作用，支持其在奖励最大化问题中作为约束的合理性。
• 所提出的正则化STDP规则在多刺激环境下相比经典STDP，通过理论分析验证了其提升了学习鲁棒性。
• 假设(*)——上游神经元的脉冲可预测更高的神经调制奖励——导致了对脉冲有效性的有意义下界，将网络级奖励与局部可塑性联系起来。