[论文解读] Learning arbitrary dynamics in efficient, balanced spiking networks using local plasticity rules

Alireza Alemi, Christian K. Machens+2 more|arXiv (Cornell University)|May 22, 2017

Advanced Memory and Neural Computing参考文献 17被引用 12

一句话总结

本文提出了一种用于脉冲递归网络的生物可实现学习框架，仅通过局部突触可塑性规则即可学习任意非线性动力学。通过将高效平衡脉冲网络（EBN）与非线性自适应控制理论相结合，该方法确保了脉冲效率、对噪声和神经元丢失的鲁棒性，以及通过局部误差反馈实现的最小脉冲计数，从而以低维、异步脉冲序列实现精确的动力学。

ABSTRACT

Understanding how recurrent neural circuits can learn to implement dynamical systems is a fundamental challenge in neuroscience. The credit assignment problem, i.e. determining the local contribution of each synapse to the network's global output error, is a major obstacle in deriving biologically plausible local learning rules. Moreover, spiking recurrent networks implementing such tasks should not be hugely costly in terms of number of neurons and spikes, as they often are when adapted from rate models. Finally, these networks should be robust to noise and neural deaths in order to sustain these representations in the face of such naturally occurring perturbation. We approach this problem by fusing the theory of efficient, balanced spiking networks (EBN) with nonlinear adaptive control theory. Local learning rules are ensured by feeding back into the network its own error, resulting in a synaptic plasticity rule depending solely on presynaptic inputs and post-synaptic feedback. The spiking efficiency and robustness of the network are guaranteed by maintaining a tight excitatory/inhibitory balance, ensuring that each spike represents a local projection of the global output error and minimizes a loss function. The resulting networks can learn to implement complex dynamics with very small numbers of neurons and spikes, exhibit the same spike train variability as observed experimentally, and are extremely robust to noise and neuronal loss.

研究动机与目标

• 通过推导生物可实现的局部学习规则来解决脉冲网络中的信用分配问题。
• 通过最小化脉冲计数同时保持精确的动力学表征来确保脉冲效率。
• 通过退化且平衡的神经元群实现对噪声和神经元丢失的鲁棒性。
• 将高效平衡网络（EBN）与自适应控制理论统一，以学习任意非线性动力学。
• 证明异步、不规则的放电活动反映的是高效编码，而非噪声。

提出的方法

• 网络使用一组基函数，通过非线性树突整合（例如tanh）实现，以近似任意非线性动力学。
• 利用自适应控制理论推导出局部学习规则，其中突触权重根据突触前活动与突触后误差反馈之间的相关性进行更新。
• 误差信号被定义为期望轨迹与重构状态之间的差值，并反馈以局部调节可塑性。
• 严格的兴奋-抑制（E/I）平衡确保每个脉冲都携带有意义的、与误差相关的信号，最小化冗余并实现高效编码。
• 该框架使用李雅普诺夫函数保证学习规则的收敛性，而无需依赖全局误差反向传播。
• 网络架构支持降维，神经活动被限制在与任务相关的子空间内，而波动则正交于该子空间。

实验结果

研究问题

• RQ1 能否推导出仅依赖局部、生物可实现的可塑性规则，以在脉冲网络中学习任意非线性动力学？
• RQ2 如何在保持精确动力学表征的同时，通过最小脉冲计数实现脉冲效率？
• RQ3 网络是否能在不牺牲学习性能的前提下，对噪声和神经元丢失保持鲁棒性？
• RQ4 异步、不规则的放电活动是否是高效编码的标志，而非噪声？
• RQ5 EBN与自适应控制理论的结合能否产生一种可扩展的、局部的学习框架，用于复杂动力学？

主要发现

• 网络仅通过局部突触可塑性即可学习任意非线性动力学，无需全局误差反向传播。
• 通过严格的E/I平衡实现脉冲效率，导致脉冲计数低且脉冲序列无相关性，从而最小化冗余。
• 网络对噪声和神经元丢失表现出鲁棒性，即使在移除高达30%的神经元后仍能保持精确的动力学。
• 脉冲序列与实验观测高度一致，表现出低放电率和不规则、异步的模式，与皮层活动一致。
• 学习规则稳定且收敛，由李雅普诺夫函数保证，确保误差随时间最小化。
• 该框架支持降维，其中种群动力学被限制在与任务相关的子空间内，波动则正交于该子空间。