[论文解读] A Large Deviation Principle and an Analytical Expression of the Rate Function for a Discrete Stationary Gaussian Process

Olivier Faugeras, James MacLaurin|arXiv (Cornell University)|Nov 18, 2013

Gene Regulatory Network Analysis被引用 4

一句话总结

本文为具有高斯相关突触权重的大规模相互作用神经元网络的轨迹经验测度建立了大偏差原理。证明了速率函数具有唯一的全局最小值，将极限分布表征为在变换轨迹空间上平稳高斯测度的像，从而为无限神经元网络提供了严格的渐近描述。

ABSTRACT

We study the asymptotic law of a network of interacting neurons when the number of neurons becomes infinite. Given a completely connected network of neurons in which the synaptic weights are Gaussian correlated random variables, we describe the asymptotic law of the network when the number of neurons goes to infinity. We introduce the process-level empirical measure of the trajectories of the solutions to the equations of the finite network of neurons and the averaged law (with respect to the synaptic weights) of the trajectories of the solutions to the equations of the network of neurons. The main result of this article is that the image law through the empirical measure satisfies a large deviation principle with a good rate function which is shown to have a unique global minimum. Our analysis of the rate function allows us also to characterize the limit measure as the image of a stationary Gaussian measure defined on a transformed set of trajectories.

研究动机与目标

• 分析当神经元数量趋于无穷时，有限相互作用神经元网络的渐近行为。
• 推导神经元轨迹过程级经验测度的大偏差原理（LDP）。
• 将网络的极限分布表征为在变换下作用于平稳高斯测度的像。
• 证明LDP的速率函数具有唯一的全局极小化子，从而确保收敛到唯一的平衡测度。

提出的方法

• 从有限网络方程的解中定义轨迹的过程级经验测度。
• 引入以淬灭突触权重为条件的轨迹平均律。
• 将大偏差理论应用于经验测度映射下平均律的像。
• 使用变分法与泛函分析技术分析所得LDP的速率函数。
• 将速率函数的唯一全局极小化子表征为在变换轨迹空间上平稳高斯过程的像。
• 利用高斯过程的结构及其相关性特征，推导出极限测度的显式形式。

实验结果

研究问题

• RQ1 在具有高斯突触权重的大规模全连接网络中，神经元轨迹的经验测度是否满足大偏差原理？
• RQ2 控制网络轨迹大偏差行为的速率函数具有何种结构？
• RQ3 速率函数是否具有唯一的全局极小化子？这对其极限分布意味着什么？
• RQ4 极限测度能否表示为在变换下作用于平稳高斯过程的像？

主要发现

• 经验测度的像满足具有良好速率函数的大偏差原理。
• 速率函数具有唯一的全局极小化子，意味着收敛到唯一的极限测度。
• 极限测度被表征为在变换轨迹空间上平稳高斯测度的像。
• 速率函数的结构在分析上可处理，且完全由突触权重的相关性结构决定。
• 该结果为具有相关突触的无限神经元网络提供了非平凡的渐近描述。