[论文解读] Dynamics and computation in mixed spiking networks containing neurons with negative dissipation.

Paul Manz, Sven Goedeke+1 more|arXiv (Cornell University)|Dec 21, 2018

Advanced Memory and Neural Computing被引用 1

一句话总结

本文研究了同时包含漏电（LIF）和反漏电（XIF）神经元的混合脉冲神经网络，表明即使仅存在一个XIF神经元，也能通过每增加一个XIF神经元产生约一个正李雅普诺夫指数而引发混沌。利用平均场理论和协变李雅普诺夫向量，研究发现此类网络可支持一种平衡的、不规则的放电状态，并作为可调谐的脉冲计算储水库，具有不同的动力学模式。

ABSTRACT

Networks in the brain consist of different types of neurons. Here we investigate the influence of neuron diversity on the dynamics, phase space structure and computational capabilities of spiking neural networks. We find that already a single neuron of a different type can qualitatively change the network dynamics and that mixed networks may combine the computational capabilities of ones with a single neuron type. We study inhibitory networks of concave leaky (LIF) and convex anti-leaky (XIF) integrate-and-fire neurons that generalize irregularly spiking non-chaotic LIF neuron networks. Endowed with simple conductance-based synapses for XIF neurons, our networks can generate a balanced state of irregular asynchronous spiking as well. We determine the voltage probability distributions and self-consistent firing rates assuming Poisson input with finite size spike impacts. Further, we compute the full spectrum of Lyapunov exponents (LEs) and the covariant Lyapunov vectors (CLVs) specifying the corresponding perturbation directions. We find that there is approximately one positive LE for each XIF neuron. This indicates in particular that a single XIF neuron renders the network dynamics chaotic. A simple mean-field approach, which can be justified by properties of the CLVs, explains the finding. As an application, we propose a spike-based computing scheme where our networks serve as computational reservoirs and their different stability properties yield different computational capabilities.

研究动机与目标

• 理解神经元多样性——特别是反漏电（XIF）神经元的引入——如何改变脉冲神经网络中的网络动力学与计算功能。
• 研究混合网络中混沌动力学的出现，并确定XIF神经元在诱导正李雅普诺夫指数中的作用。
• 在具有有限大小突触输入的泊松输入条件下，表征电压概率分布与自洽放电率。
• 通过将网络稳定性特性与计算能力关联，探索此类混合网络作为计算储水库的潜力。

提出的方法

• 对具有电导基突触的凹形漏电（LIF）和凸形反漏电（XIF）脉冲-积分神经元混合网络进行建模。
• 使用具有有限大小突触影响的泊松输入，以计算自洽放电率与电压概率分布。
• 计算李雅普诺夫指数（LEs）的完整谱及其对应的协变李雅普诺夫向量（CLVs），以分析动力学稳定性与扰动方向。
• 应用平均场方法，其合理性由CLV特性所支持，以解释XIF神经元数量与正李雅普诺夫指数数量之间的线性关系。
• 提出一种基于脉冲的计算方案，其中网络动力学作为储水库，计算能力通过XIF神经元比例进行调节。

实验结果

研究问题

• RQ1 在主要由LIF神经元构成的网络中，引入单个XIF神经元如何影响整体动力学？
• RQ2 网络中XIF神经元数量与正李雅普诺夫指数数量之间存在何种关系？
• RQ3 混合LIF-XIF网络能否在使用生物上合理的突触时，维持一种平衡的、不规则的异步放电状态？
• RQ4 电压概率分布与放电率如何依赖于输入统计特性与神经元类型的组成？
• RQ5 此类网络的动力学模式能否被用于具有可调计算能力的基于脉冲的计算？

主要发现

• 在主要由LIF神经元构成的网络中，单个XIF神经元即可引发混沌，表现为每增加一个XIF神经元即出现约一个正李雅普诺夫指数。
• 当XIF神经元使用简单的电导基突触时，网络可支持一种平衡的、不规则的异步放电状态。
• 在具有有限大小突触输入的泊松输入条件下，电压概率分布与自洽放电率可被解析计算。
• 计算了李雅普诺夫指数的完整谱及其对应的协变李雅普诺夫向量（CLVs），结果表明CLVs可解释正李雅普诺夫指数数量与XIF神经元数量之间的线性增长关系。
• 基于CLV结构验证的平均场方法，成功解释了观察到的XIF神经元数量与正李雅普诺夫指数数量之间的线性关系。
• 当此类网络用作基于脉冲计算的储水库时，其不同的动力学模式（稳定与混沌）可实现可调的计算能力。