[论文解读] Using Firing-Rate Dynamics to Train Recurrent Networks of Spiking Model Neurons

Brian DePasquale, Mark M. Churchland+1 more|arXiv (Cornell University)|Jan 28, 2016

Neural dynamics and brain function参考文献 22被引用 38

一句话总结

本文提出了一种新颖的方法，通过利用连续变量的“速率”网络作为中间体来生成训练目标，从而训练循环脉冲神经网络。通过将速率网络的动力学投影到其主成分上，作者仅略微增加神经元数量，便实现了高保真度的任务性能，同时保持了生物学真实性和变异性。

ABSTRACT

Recurrent neural networks are powerful tools for understanding and modeling computation and representation by populations of neurons. Continuous-variable or "rate" model networks have been analyzed and applied extensively for these purposes. However, neurons fire action potentials, and the discrete nature of spiking is an important feature of neural circuit dynamics. Despite significant advances, training recurrently connected spiking neural networks remains a challenge. We present a procedure for training recurrently connected spiking networks to generate dynamical patterns autonomously, to produce complex temporal outputs based on integrating network input, and to model physiological data. Our procedure makes use of a continuous-variable network to identify targets for training the inputs to the spiking model neurons. Surprisingly, we are able to construct spiking networks that duplicate tasks performed by continuous-variable networks with only a relatively minor expansion in the number of neurons. Our approach provides a novel view of the significance and appropriate use of "firing rate" models, and it is a useful approach for building model spiking networks that can be used to address important questions about representation and computation in neural systems.

研究动机与目标

• 解决训练循环连接的脉冲神经网络以执行复杂时间任务的挑战。
• 通过使用连续变量网络作为目标动力学的代理，克服直接在脉冲网络上训练的局限性。
• 使脉冲网络能够复制速率网络的行为，同时整合生物特征，如放电不规则性和戴尔定律（Dale’s law）。
• 通过利用网络活动的主成分分析（PCA），减少在脉冲网络中表示连续动力学所需的神经元数量。
• 提供一个构建生物合理脉冲网络的框架，使其与实验数据（如运动皮层和肌电图（EMG）记录）相匹配。

提出的方法

• 训练一个连续变量的“速率”网络以执行目标任务，生成用于训练的辅助目标信号。
• 对速率网络的活动进行主成分分析（PCA），提取捕捉网络动力学大部分方差的主要时间模式（主成分）。
• 将速率网络的主成分映射到脉冲网络中重叠的神经元池，将连续信号分布到整个神经元群体中。
• 使用监督学习规则训练脉冲网络的循环权重（J）和输出权重（W），以最小化脉冲网络输出与投影目标之间的误差。
• 引入随机且固定的循环连接（J^f），以诱发试验间变异性与放电不规则性，模拟生物噪声。
• 通过将脉冲网络的动力学和输出与速率网络及实验数据（包括运动皮层和EMG记录）进行比较，验证其性能。

实验结果

研究问题

• RQ1 是否可以训练一个脉冲神经网络，使其在仅小幅增加神经元数量的情况下，复现连续变量速率网络的动力学？
• RQ2 如何利用速率网络活动的主成分，为脉冲网络生成有效的训练目标？
• RQ3 在具有生物约束连接性（如戴尔定律、稀疏性）的条件下，脉冲网络在在多大程度上能再现复杂的时间任务？
• RQ4 通过该方法训练的脉冲网络的动力学是否能与实验神经数据和行为数据（如运动皮层活动和EMG信号）相匹配？
• RQ5 速率网络与脉冲网络活动的主成分之间存在何种关系？它们如何揭示网络功能？

主要发现

• 使用连续变量速率网络主成分训练的脉冲网络，即使仅使用12个主成分，其归一化误差也与使用完整目标信号训练的网络相当。
• 速率网络和脉冲网络的前10个时间主成分共同解释了超过90%的总方差，且两者子空间之间的中位角仅为5度，表明其动力学高度相似。
• 该方法可构建脉冲网络，仅需比速率网络单位数略多的神经元，即可成功复现复杂任务，如自主振荡和输入整合。
• 脉冲网络成功建模了生理数据的多个特征，包括在抓握任务中运动皮层活动和EMG信号。
• 连续变量网络并非作为脉冲发放率的直接近似，而是作为支撑网络功能的主要动力学模式（主成分）的生成器。
• 该方法支持将速率模型视为识别任务执行所必需的关键动力学成分的工具，而非对脉冲网络的近似。