[论文解读] Fitting summary statistics of neural data with a differentiable spiking network simulator

Guillaume Bellec, Shuqi Wang+3 more|arXiv (Cornell University)|Jun 18, 2021

Neural dynamics and brain function被引用 5

一句话总结

该论文提出了一种可微分的脉冲神经网络仿真器，通过结合最大似然损失与基于神经科学相关汇总统计量（如PSTH和噪声相关性）的样本-测量损失，最小化损失函数来拟合神经数据。该方法实现了通过随机脉冲发放序列的反向传播，即使存在隐藏神经元，也能实现对网络连接性的精确推断，显著提升了标准似然方法在真实性和重建准确性方面的表现。

ABSTRACT

Fitting network models to neural activity is an important tool in neuroscience. A popular approach is to model a brain area with a probabilistic recurrent spiking network whose parameters maximize the likelihood of the recorded activity. Although this is widely used, we show that the resulting model does not produce realistic neural activity. To correct for this, we suggest to augment the log-likelihood with terms that measure the dissimilarity between simulated and recorded activity. This dissimilarity is defined via summary statistics commonly used in neuroscience and the optimization is efficient because it relies on back-propagation through the stochastically simulated spike trains. We analyze this method theoretically and show empirically that it generates more realistic activity statistics. We find that it improves upon other fitting algorithms for spiking network models like GLMs (Generalized Linear Models) which do not usually rely on back-propagation. This new fitting algorithm also enables the consideration of hidden neurons which is otherwise notoriously hard, and we show that it can be crucial when trying to infer the network connectivity from spike recordings.

研究动机与目标

• 为解决最大似然估计（MLE）在拟合递归脉冲神经网络（RSNNs）时的局限性，尽管理论上一致，但常产生不切实际的活动模式。
• 开发一种可扩展的可微分框架，实现通过随机脉冲发放序列的反向传播，克服以往在含隐藏单元的RSNN训练中面临的技术障碍。
• 通过将神经科学相关的汇总统计量（如发放时间直方图（PSTH）和噪声相关性（NC））纳入损失函数，提升模型的真实性和连接性推断能力。
• 证明建模隐藏神经元对于准确重构网络连接性至关重要，尤其是在仅记录部分神经元的情况下。
• 通过整合多个记录会话的数据，将部分神经元视为可见，另一部分视为隐藏，实现大规模网络的拟合。

提出的方法

• 该方法基于脉冲响应模型（SRM）实现了一种可微分的随机递归脉冲神经网络（RSNN），其中脉冲概率通过膜电位的S形函数计算。
• 通过伯努利采样生成脉冲发放序列，并利用直通梯度估计器对这些离散样本进行反向传播。
• 损失函数结合了标准对数似然与样本-测量损失，后者用于比较模拟与记录的汇总统计量（如PSTH和噪声相关性）。
• 从模拟和记录的脉冲发放序列中计算汇总统计量，并通过自动微分使用梯度下降最小化其差异。
• 通过在隐藏神经元活动（如发放率）上引入样本-测量损失，支持隐藏神经元的存在，这些活动在基于似然的拟合中原本是无约束的。
• 该方法在PyTorch中实现并开源，支持在GPU上高效训练，并实现对随机脉冲发放动力学的完整可微分性。

实验结果

研究问题

• RQ1 与仅使用最大似然估计相比，可微分的脉冲神经网络仿真器是否能显著提升模拟神经活动的真实感？
• RQ2 在损失函数中引入PSTH和噪声相关性等汇总统计量，是否能提升网络连接性的推断准确性？
• RQ3 在可微分框架中能否有效建模隐藏神经元，以改善真实网络连接性的重构？
• RQ4 样本-测量方法是否可扩展至结合多个记录会话数据的大规模网络？
• RQ5 当仅记录部分神经元时，包含隐藏神经元是否能显著降低连接矩阵估计的误差？

主要发现

• 与仅使用最大似然估计相比，样本-测量方法显著提升了模拟神经活动的真实感，尤其在隐藏神经元影响记录活动时更为明显。
• 当包含隐藏神经元时，该方法在噪声相关性矩阵上的R²达到0.97，在连接矩阵上的R²达到0.63，接近完全可见网络的表现（分别为R² = 0.97和0.63）。
• 若不包含隐藏神经元，该方法无法重构真实连接性，噪声相关性和连接矩阵的R²均低于0.1，表明隐藏神经元对准确推断至关重要。
• 即使仅有10个隐藏神经元，也能显著提升重构准确性，连接矩阵的R²从0.1提升至0.55。
• 该方法具有高效可扩展性：在单张V100 GPU上，训练包含4,995个神经元的模型并整合20个会话的数据仅耗时36小时，证明了其在大规模神经网络拟合中的可行性。
• 该方法优于不使用反向传播的GLM基线方法，且避免了强化学习风格方法的高方差梯度问题，提供了一种稳定高效的替代方案。