[论文解读] A new inference approach for training shallow and deep generalized linear models of noisy interacting neurons

Gabriel Mahuas, Giulio Isacchini+3 more|arXiv (Cornell University)|Jun 11, 2020

Neural dynamics and brain function参考文献 29被引用 3

一句话总结

本文提出一种两步推理方法，用于训练噪声交互神经元的广义线性模型（GLMs），该方法将刺激驱动分量与网络耦合动力学分离。通过利用重复刺激在训练刺激滤波器之前推断出稳健的、与刺激无关的耦合关系，该方法提升了模型的泛化能力、稳定性与预测准确性——尤其在复杂视觉刺激下表现更优，同时支持与深度卷积神经网络的集成。

ABSTRACT

Generalized linear models are one of the most efficient paradigms for predicting the correlated stochastic activity of neuronal networks in response to external stimuli, with applications in many brain areas. However, when dealing with complex stimuli, the inferred coupling parameters often do not generalize across different stimulus statistics, leading to degraded performance and blowup instabilities. Here, we develop a two-step inference strategy that allows us to train robust generalized linear models of interacting neurons, by explicitly separating the effects of correlations in the stimulus from network interactions in each training step. Applying this approach to the responses of retinal ganglion cells to complex visual stimuli, we show that, compared to classical methods, the models trained in this way exhibit improved performance, are more stable, yield robust interaction networks, and generalize well across complex visual statistics. The method can be extended to deep convolutional neural networks, leading to models with high predictive accuracy for both the neuron firing rates and their correlations.

研究动机与目标

• 解决标准GLM在不同刺激统计下泛化能力差的问题，后者会导致耦合参数不稳定且不鲁棒。
• 解决由于刺激相关性引发的虚假耦合所导致的GLM动力学中自激发瞬态现象。
• 改善在复杂刺激下视网膜与皮层网络中相关噪声及群体响应统计的预测能力。
• 实现深度卷积神经网络（CNN）与GLM的集成，以增强均值响应预测能力，同时保持对群体相关性的建模。
• 开发一种框架，实现从实验数据中对神经元相互作用网络进行稳定、可泛化且可解释的推理。

提出的方法

• 将GLM推理分解为两个独立步骤：首先，利用重复刺激试验推断神经元之间的耦合矩阵，排除刺激滤波器。
• 利用重复刺激的响应通过最大似然法估计耦合参数，确保其与刺激统计无关。
• 在第二步中，使用完整数据集推断刺激滤波器参数（如线性或深度CNN滤波器），将耦合矩阵视为固定值。
• 应用稳定性准则以约束推断出的耦合关系，防止自激发不稳定性。
• 将两个推理结果整合为单一、统一的GLM，以同时预测均值发放率与相关性。
• 通过使用预训练的CNN进行刺激处理，并将输出连接至具有神经元特异性耦合关系与历史滤波器的GLM层，将该框架扩展至深度架构。

实验结果

研究问题

• RQ1 我们能否在GLM推理中将刺激相关性的影响与网络相互作用解耦，以提升模型鲁棒性？
• RQ2 将刺激滤波器与耦合推理分离，是否能提升在不同视觉统计下的泛化能力？
• RQ3 该两步法是否能减少神经网络动力学中的自激发不稳定性？
• RQ4 在不损害噪声相关性与群体相互作用建模的前提下，深度CNN在多大程度上可被集成到GLM中？
• RQ5 该方法构建的模型是否能提升对视网膜神经节细胞发放率与相关活动的预测准确性？

主要发现

• 两步推理方法成功将刺激驱动效应与网络耦合关系解耦，得到稳定且与刺激无关的耦合矩阵。
• 采用该方法训练的模型在不同视觉统计下具有良好的泛化能力：基于运动条纹刺激推断出的耦合关系，能高精度预测对棋盘格刺激的响应。
• 该方法减少了虚假噪声相关性，并消除了标准GLM在复杂刺激下常见的自激发瞬态现象。
• 该方法实现了深度CNN与GLM的集成，显著提升了均值发放率的预测能力，同时保持了群体相关性建模的准确性。
• 仅需165秒的重复数据，该方法即可实现稳健的耦合关系推理，表明即使在重复试验有限的情况下也具备可行性。
• 与经典GLM训练相比，该方法构建的模型在预测准确性与稳定性方面表现更优，尤其在自然化与复杂视觉刺激下优势显著。