[论文解读] Biologically plausible solutions for spiking networks with efficient coding

Veronika Koren, Stefano Panzeri|arXiv (Cornell University)|Oct 13, 2022

Advanced Memory and Neural Computing被引用 7

一句话总结

本文提出了一种生物上合理的脉冲神经网络模型，通过数学推导的、基于优化的框架实现高效编码。通过最小化带有脉冲的二次损失函数，该模型生成了一个广义漏电积分发放（LIF）网络，具有结构化、低秩连接、非均质电流以及区分明显的兴奋性-抑制性动力学，从而在遵守生物约束（如 Dale 原则和脉冲时间精度）的前提下实现高保真信号重建。

ABSTRACT

Understanding how the dynamics of neural networks is shaped by the computations they perform is a fundamental question in neuroscience. Recently, the framework of efficient coding proposed a theory of how spiking neural networks can compute low-dimensional stimulus signals with high efficiency. Efficient spiking networks are based on time-dependent minimization of a loss function related to information coding with spikes. To inform the understanding of the function and dynamics of biological networks in the brain, however, the mathematical models have to be informed by biology and obey the same constraints as biological networks. Currently, spiking network models of efficient coding have been extended to include some features of biological plausibility, such as architectures with excitatory and inhibitory neurons. However, biological realism of efficient coding theories is still limited to simple cases and does not include single neuron and network properties that are known to be key in biological circuits. Here, we revisit the theory of efficient coding with spikes to develop spiking neural networks that are closer to biological circuits. Namely, we find a biologically plausible spiking model realizing efficient coding in the case of a generalized leaky integrate-and-fire network with excitatory and inhibitory units, equipped with fast and slow synaptic currents, local homeostatic currents such as spike-triggered adaptation, hyperpolarization-activated rebound current, heterogeneous firing thresholds and resets, heterogeneous postsynaptic potentials, and structured, low-rank connectivity. We show how the complexity of E-E connectivity matrix shapes network responses.

研究动机与目标

• 开发一种在真实神经约束下实现高效编码的生物真实脉冲神经网络模型。
• 通过整合兴奋性-抑制性连接、非均质电流和突触动力学等关键生物特征，将现有高效编码理论从抽象数学框架中拓展出来。
• 从优化原理出发，推导出膜电位动力学（包括漏电流）的精确表达式，而非依赖于临时假设。
• 建立网络参数与计算功能之间的功能性联系，使动力学可解释为信息处理机制。
• 证明复杂兴奋性-兴奋性（E-E）连接可实现非前向传播响应和类似于生物 Up/Down 状态的自发活动状态。

提出的方法

• 该模型为兴奋性和抑制性神经元分别使用两个独立的损失函数，以强制实现 E-I 架构和功能多样性。
• 通过时间依赖的二次误差损失最小化，推导出膜电位动力学（包括漏电流、适应性、后超极化和突触电流）的精确解析表达式。
• 网络采用广义 LIF 模型，具有非均质的放电阈值、重置值和突触后电位，以反映生物变异性。
• 通过优化实现结构化、低秩连接，以最大化每单位脉冲的信息传输效率，快速突触实现竞争，慢速突触实现合作。
• 该框架允许输入与输出之间的一般线性变换，超越简单的漏电积分，实现复杂网络计算。
• 理论推导将网络参数与最小化的损失分量直接关联，使每个动力学元件的功能可解释。

实验结果

研究问题

• RQ1 如何在尊重生物约束（如 Dale 原则和非均质神经元特性）的脉冲神经网络中实现高效编码？
• RQ2 快速和慢速突触电流在塑造网络响应和实现高效信息传输中起什么作用？
• RQ3 结构化、低秩的 E-E 连接如何在前向驱动激活之外影响网络动力学？
• RQ4 优化框架能否在无外部输入的情况下生成类似于生物 Up/Down 状态的自发活动状态？
• RQ5 如何从其在最小化损失函数和实现高效计算中的作用角度，对网络参数进行功能解释？

主要发现

• 所推导的脉冲网络模型在生物学上是合理的，其每个组件（如漏电流、适应性、后超极化电流）均精确源自损失函数的优化。
• 该模型通过为兴奋性和抑制性神经元分别设计损失函数，强制实现 Dale 原则，确保每个神经元仅具有兴奋性或抑制性角色。
• 结构化、低秩连接自然地从优化过程中涌现，实现高效信息传输且冗余最小化。
• 复杂的 E-E 连接使未直接受前向输入驱动的神经元也能参与网络响应，从而实现分布式计算。
• 在无外部刺激且存在背景噪声的情况下，网络自发产生 Up 和 Down 状态，与生物观察结果一致。
• 该模型为网络参数提供了功能解释，将每个动力学组件（如适应性、突触权重）与其在最小化编码误差中的作用直接关联。