[论文解读] Balanced Information Storage and Transfer in Modular Spiking Neural Networks

Pedro A. M. Mediano, Murray Shanahan|arXiv (Cornell University)|Aug 15, 2017

Neural dynamics and brain function参考文献 34被引用 4

一句话总结

本研究探究了一种具有可调长程连接性的模块化脉冲神经网络，以探索信息存储与传递之间的平衡。通过改变重连概率 $p$，网络在中间 $p$ 值时表现出临界态，此时级联放电动力学遵循幂律统计，信息存储与传递达到最优平衡——与实际脑数据相吻合。

ABSTRACT

While information processing in complex systems can be described in abstract, general terms, there are cases in which the relation between these computations and the physical substrate of the underlying system is itself of interest. Prominently, the brain is one such case. With the aim of relating information and dynamics in biological neural systems, we study a model network of spiking neurons with different coupling configurations, and explore the relation between its informational, dynamical, and topological properties. We find that information transfer and storage peak at two separate points for different values of the coupling parameter, and are balanced at an intermediate point. In this configuration, avalanches in the network follow a long-tailed, power law-like distribution. Furthermore, the avalanche statistics at this point reproduce empirical findings in the biological brain.

研究动机与目标

• 理解神经网络的物理基质如何催生涌现计算，超越纯粹抽象的信息论模型。
• 研究网络拓扑、动力学状态与脉冲神经网络中信息处理之间的相互作用。
• 识别出信息存储与传递达到最优平衡的配置，该配置与临界动力学相关。
• 将理论网络行为与生物脑中的实证发现联系起来，特别是幂律级联放电统计。
• 考察神经相互作用的线性程度如何随连接结构变化，并利用信息论度量进行分析。

提出的方法

• 构建一个包含1000个神经元（800个兴奋性，200个抑制性）的模块化网络，兴奋性模块内边密度为10%。
• 通过重连过程引入长程连接，重连概率 $p$ 控制局部（模块内）与全局（模块间）耦合之间的平衡。
• 使用伊兹基维奇脉冲神经元模型对神经元动力学进行建模，采用符合生物学特性的兴奋性与抑制性神经元参数。
• 利用KSG非参数互信息估计器量化信息存储与传递，并与线性高斯估计器比较，以评估非线性程度。
• 对时间序列数据进行差分处理（一阶与二阶），以探索频谱分量并抑制低频成分，增强对高频动力学的敏感性。
• 通过检测脉冲级联分析级联统计，使用经验拟合检验其大小分布是否符合幂律缩放。

实验结果

研究问题

• RQ1 模块化脉冲网络中局部与全局连接性的平衡如何影响信息存储与传递？
• RQ2 重连参数 $p$ 的哪个值使信息存储与传递达到最大平衡？
• RQ3 网络是否在信息处理平衡点附近表现出临界动力学——特别是幂律分布的级联放电？
• RQ4 神经相互作用的性质（线性与非线性）如何随连接结构变化，这种变化在信息论度量中如何体现？
• RQ5 该模型中的级联放电统计在多大程度上与生物脑的实证数据相匹配？

主要发现

• 信息存储与传递在重连参数 $p$ 的不同取值下达到峰值，最大平衡出现在中间 $p$ 值处。
• 在平衡点，级联大小分布呈现长尾、类似幂律的分布，其临界指数与生物脑中的实证发现一致（例如，Beggs & Plenz, 2003）。
• 从竞争性（赢家通吃）到合作性（全局）动力学的转变发生在 $p \in (0.2, 0.4)$ 范围内，与信息多样性峰值及临界统计特征重合。
• 在低 $p$ 时非线性相互作用占主导，而高 $p$ 时线性相互作用更为显著，表现为非参数估计器与线性高斯互信息估计器之间的差距逐渐增大。
• 时间差分处理抑制了低频分量，放大了线性与非参数互信息估计之间的差异，尤其是在D1与D2中，证实线性相互作用主要存在于低频段。
• 该模型的临界态——以平衡的信息处理与幂律级联放电为特征——自然地从拓扑、动力学与信息论的相互作用中涌现，支持了神经计算的混合视角。