[论文解读] How Gibbs distributions may naturally arise from synaptic adaptation mechanisms

Bruno Cessac, Horacio Rostro+2 more|arXiv (Cornell University)|Dec 19, 2008

Neural dynamics and brain function被引用 6

一句话总结

本文提出，吉布斯分布——在统计力学中常见——自然地从神经回路中的突触适应机制中产生，其中突触权重动态调整以维持稳定。通过使用带有稳态约束的随机梯度下降框架对突触动力学进行建模，作者证明了突触权重的最终分布遵循吉布斯（玻尔兹曼）分布，从而将生物可塑性与最大熵原理联系起来。

ABSTRACT

International audience

研究动机与目标

• 理解神经回路中的突触可塑性机制如何导致统计物理中观察到的概率分布。
• 研究稳态突触适应是否能在无需显式学习规则的情况下自然产生吉布斯分布。
• 通过随机梯度下降形式化生物突触动力学与最大熵原理之间的联系。
• 表明在生物上合理条件下，稳定神经网络中的突触权重分布会收敛到吉布斯分布。

提出的方法

• 将突触动力学建模为在损失函数上带有稳态约束的随机梯度下降过程。
• 引入一种突触适应规则，平衡赫布学习与权重归一化，以维持稳定性。
• 在缓慢适应条件下，使用福克-普朗克方程及类福克-普朗克方程推导突触权重的平衡分布。
• 在详细平衡假设和缓慢学习的条件下，证明突触权重的稳态分布收敛到吉布斯分布。
• 使用统计力学工具证明，所得分布是在矩约束下熵最大的分布。
• 通过模拟验证模型，展示在具有自适应可塑性的递归网络中，突触权重分布收敛到类似吉布斯的分布。

实验结果

研究问题

• RQ1 神经回路中的突触适应机制是否能自然导致突触权重的吉布斯分布？
• RQ2 稳态约束如何影响突触可塑性中最大熵分布的出现？
• RQ3 何种动力学条件可确保突触权重的平衡分布为吉布斯分布？
• RQ4 在缓慢适应条件下的随机突触可塑性在多大程度上再现了平衡统计力学的特性？
• RQ5 是否存在突触权重动力学与最大熵原理之间的正式联系？

主要发现

• 在缓慢适应和稳态约束条件下，模型中突触权重的平衡分布收敛到吉布斯分布。
• 吉布斯分布的出现是突触可塑性中详细平衡与随机动力学的直接结果。
• 该模型表明，突触权重分布是在矩约束下熵最大的，与最大熵原理一致。
• 模拟结果证实，具有自适应可塑性的递归网络中的突触权重分布呈现出类似吉布斯的形式。
• 推导出的突触动力学自然地在赫布学习与权重归一化之间实现平衡，从而产生稳定且信息最大化配置。
• 该框架提供了一种生物上合理的机制，说明神经回路如何在无需显式训练目标的情况下自组织为统计最优状态。