[论文解读] Exact computation of the Maximum Entropy Potential of spiking neural networks models

Rodrigo Cofré, Bruno Cessac|HAL (Le Centre pour la Communication Scientifique Directe)|May 14, 2014

Neural Networks and Applications被引用 6

一句话总结

本文建立了神经形态脉冲神经元模型与最大熵（MaxEnt）模型之间的精确解析映射，表明MaxEnt势能的局部场和耦合项是非线性函数，其依赖于突触权重和刺激。关键结果是，尽管MaxEnt模型具有指数级多的参数，但实际中仅有O(N²)个非零参数，揭示了神经脉冲统计中隐藏的低维结构。

ABSTRACT

Understanding how stimuli and synaptic connectivity in uence the statistics of spike patterns in neural networks is a central question in computational neuroscience. Maximum Entropy approach has been successfully used to characterize the statistical response of simultaneously recorded spiking neurons responding to stimuli. But, in spite of good performance in terms of prediction, the fitting parameters do not explain the underlying mechanistic causes of the observed correlations. On the other hand, mathematical models of spiking neurons (neuro-mimetic models) provide a probabilistic mapping between stimulus, network architecture and spike patterns in terms of conditional proba- bilities. In this paper we build an exact analytical mapping between neuro-mimetic and Maximum Entropy models.

研究动机与目标

• 建立神经形态模型（通过突触权重和刺激描述神经动力学）与用于拟合脉冲列统计的最 大熵模型之间的严格、精确对应关系。
• 通过将MaxEnt拉格朗日乘子（如'功能相互作用'J_ij）与神经形态模型中的生物物理上有意义的参数关联，解决其解释中的模糊性。
• 研究在真实神经系统的参数中仅有少数非零的情况下，高维MaxEnt势能是否可以被简化。
• 通过直接从神经动力学原理推导MaxEnt势能，为观察到的神经脉冲列相关性提供机制性解释。

提出的方法

• 从具有显式依赖于突触权重W_ij和外部刺激I的神经形态模型（如线性-非线性或整合-发放模型）推导归一化的势能φ。
• 使用MaxEnt势能的规范形式，将脉冲模式的概率分布表示为具有局部场h_l和耦合J_ij的吉布斯分布。
• 通过非线性函数映射，建立MaxEnt参数（h_l, J_ij）与神经形态参数（W, I）之间的精确解析关系，如公式(14)所形式化。
• 通过比较O(N²)个神经形态参数与O(2^{NR})个MaxEnt参数，分析MaxEnt参数空间的维度，表明仅O(N²)个参数在一般情况下非零。
• 将该方法应用于具有高斯分布突触权重的简单两神经元模型，证明MaxEnt参数依赖于完整的网络结构，而不仅局部连接。
• 利用该框架检测MaxEnt系数近似为零的情况，提示真实神经数据中存在潜在的简化规律。

实验结果

研究问题

• RQ1 最大熵模型中的拉格朗日乘子（局部场和耦合）能否从神经形态脉冲神经元模型的参数中精确推导？
• RQ2 MaxEnt模型中的功能连接（J_ij）与神经形态模型中的实际突触权重（W_ij）之间是否存在系统性关系？
• RQ3 为何尽管存在记忆效应和高阶相关性，成对MaxEnt模型在拟合神经脉冲列数据时通常表现良好？
• RQ4 当从真实神经形态动力学推导MaxEnt参数时，其是否表现出低维结构？若是，这种简化由何原因导致？
• RQ5 精确映射能否揭示在真实神经系统的MaxEnt系数中，许多系数近似为零，从而暗示隐藏的统计规律？

主要发现

• 从神经形态模型推导出的MaxEnt势能依赖于完整的突触权重矩阵W和刺激I，而非仅局部连接。
• MaxEnt模型中的局部场h_l和耦合J_ij是非线性函数，其依赖于W和I，意味着MaxEnt中的功能相互作用并不直接对应于单个突触权重。
• 尽管MaxEnt模型在记忆深度R下具有O(2^{NR})的参数空间，但当从神经形态模型推导时，仅有O(N²)个参数非零，表明存在显著的维度约简。
• 在一般随机突触权重下，任何MaxEnt系数h_l为零的概率为零，意味着真实数据中观察到的简化并非普遍现象，而是源于生物约束。
• 该方法可检测近似为零的MaxEnt系数，可能揭示神经数据中隐藏的统计规律，如成对模型成功捕捉集体活动的原因。
• 该框架通过将脉冲列相关性直接与网络结构和刺激输入关联，为相关性提供了因果性、机制性的解释。