[论文解读] Functional methods for disordered neural networks

Jannis Schuecker, Sven Goedeke+2 more|arXiv (Cornell University)|May 22, 2016

Advanced Thermodynamics and Statistical Mechanics被引用 12

一句话总结

本教程运用统计场论中的功能方法，分析具有淬火突触随机性的无序神经网络，采用Martin-Siggia-Rose-De Dominicis（MSRDJ）路径积分形式，推导出动态平均场理论。该研究建立了一个混沌相变的判据：在零时滞处自相关函数曲率趋于零，该判据与有效薛定谔方程的基态相关联。

ABSTRACT

Neural networks of the brain form one of the most complex systems we know. Many qualitative features of the emerging collective phenomena, such as correlated activity, stability, response to inputs, chaotic and regular behavior, can, however, be understood in simple models that are accessible to a treatment in statistical mechanics, or, more precisely, classical statistical field theory. This tutorial presents the fundamentals behind contemporary developments in the theory of neural networks of rate units that are based on methods from statistical mechanics of classical systems with a large number of interacting degrees of freedom. In particular we will focus on a relevant class of systems that have quenched (time independent) disorder. In neural networks, the main source of disorder arises from random synaptic couplings between neurons. These systems are in many respects similar to spin glasses. The tutorial therefore also explains the methods for these disordered systems as far as they are applied in neuroscience. The presentation consists of two parts. In the first part we introduce stochastic differential equations in the Martin - Siggia - Rose - De Dominicis - Janssen path integral formalism. In the second part we employ this language to derive the dynamic mean-field theory for deterministic random networks, the basis of the seminal work by Sompolinsky, Crisanti, Sommers 1988, as well as a recent extension to stochastic dynamics.

研究动机与目标

• 为无序神经网络的功能方法提供全面且易于理解的教程，尤其关注具有随机突触耦合引起的淬火无序性。
• 弥合文献中的空白，提供随机神经网络动态平均场理论的详细推导，这一基础框架此前缺乏完整的教学性阐述。
• 将形式化方法扩展至随机神经单元，纳入动力学与涨落中的噪声效应。
• 阐明MSRDJ路径积分形式在神经科学背景下处理随机微分方程的物理与数学基础。
• 通过求解最大李雅普诺夫指数的薛定谔方程，推导并解释随机神经网络混沌 onset 的条件。

提出的方法

• 使用Itô与Stratonovich约定形式化随机微分方程，并通过MSRDJ形式推导其路径积分表示。
• 应用De Dominicis方法构建生成泛函，对突触耦合中的淬火无序进行平均。
• 通过无序平均求解自洽自相关函数，推导确定性随机网络的动态平均场理论。
• 利用有效势建模涨落的动力学，并将稳定性分析映射为最大李雅普诺夫指数的薛定谔方程。
• 利用Price定理将高斯积分对参数的导数与底层随机变量的矩联系起来，从而实现对响应函数的解析处理。
• 通过分析自相关函数在τ=0处的二阶导数，提出混沌相变的判据，该导数在临界点处为零。

实验结果

研究问题

• RQ1 如何利用统计场论系统分析具有淬火突触随机性的无序神经网络的动力学？
• RQ2 随机神经网络中随机微分方程的功能路径积分形式是什么？Itô与Stratonovich约定在此情境下有何不同？
• RQ3 MSRDJ形式如何实现对具有淬火无序的随机神经网络动态平均场理论的推导？
• RQ4 随机神经网络混沌相变的物理与数学基础是什么？如何实现其解析预测？
• RQ5 在神经单元中引入噪声如何影响自相关函数及混沌动力学的 onset？

主要发现

• 随机神经网络的混沌相变发生在自相关函数在零时滞处的二阶导数为零时，即 ∂²c(τ)/∂τ²|τ=0 = 0。
• 该临界条件对应于自相关函数曲率的符号变化，标志着外部噪声引起的去相关与内在混沌动力学之间的平衡。
• 最大李雅普诺夫指数通过求解一个势能由网络自洽动力学导出的薛定谔方程获得。
• 该形式化方法成功复现了Sompolinsky等人（1988）的动态平均场理论，并将其扩展至随机单元，与Goedeke等人（2016）的工作一致。
• Price定理被严格应用，表明高斯积分对参数的导数等于被积函数导数的矩。
• 路径积分形式允许使用费曼图与圈展开对涨落进行系统性微扰处理，从而实现对复杂神经动力学的统计分析。