[论文解读] Dynamical Phase Transition in a Neural Network Model with Noise: an Exact Solution

Cristián Huepe, Maximino Aldana|arXiv (Cornell University)|Feb 22, 2002

Neural Networks and Applications参考文献 11被引用 4

一句话总结

本文为具有随机淬火连接的布尔神经网络中噪声驱动的动力相变提供了精确的解析解。通过将网络的序参量动力学建模为随机微分方程，作者推导出在临界噪声水平 ηc 处出现二阶相变，临界指数为 1/2，表明在 ηc 以下组织性得以维持，而在其以上则坍缩为随机性，且这一行为与权重分布的具体形式无关，只要其非对称即可。

ABSTRACT

The dynamical organization in the presence of noise of a Boolean neural network with random connections is analyzed. For low levels of noise, the system reaches a stationary state in which the majority of its elements acquire the same value. It is shown that, under very general conditions, there exists a critical value of the noise, below which the network remains organized and above which it behaves randomly. The existence and nature of the phase transition are computed analytically, showing that the critical exponent is 1/2. The dependence of the critical noise on the parameters of the network is obtained. These results are then compared with two numerical realizations of the network.

研究动机与目标

• 研究噪声如何影响具有随机淬火连接的神经网络中的动力组织性。
• 确定是否存在一个临界噪声阈值 ηc，当噪声超过该阈值时，系统会从有序行为转变为无序行为。
• 解析计算临界指数以及 ηc 对网络参数（如连通性 K 和权重分布）的依赖关系。
• 通过两种不同网络实现的数值模拟验证解析结果。
• 建立相变在权重分布一般条件下的鲁棒性。

提出的方法

• 该网络由 N 个二元元素（σi = ±1）组成，每个节点具有 K 个随机、淬火连接，每条连接的权重由具有给定概率密度函数 P_c(x) 的独立随机变量决定。
• 引入一种随机更新规则：每个节点以概率 1−η 根据其输入加权和的符号进行更新，以概率 η 独立地翻转其状态。
• 序参量 Ψ(t) = ⟨σi(t)⟩ 定义为平均磁化强度，其时间演化通过从随机过程的主方程推导出的福克-普朗克型方程进行建模。
• 通过求解非线性积分方程，解析计算序参量动力学的固定点，从而得到揭示相变的分岔图。
• 通过求解固定点方程获得临界噪声水平 ηc，并从 Ψ 在 ηc 附近的标度行为中提取临界指数。
• 通过模拟两种网络实现对结果进行数值验证：一种为恒定权重（cij = 1），另一种为均匀分布权重（cij ∈ [0,1]）。

实验结果

研究问题

• RQ1 是否存在一个临界噪声水平 ηc，使得神经网络在 ηc 以下保持动力学有序，而在其以上则变为无序？
• RQ2 相变的本质是一阶还是二阶？其关联的临界指数是什么？
• RQ3 临界噪声水平 ηc 如何依赖于网络的连通性 K 和连接权重的分布？
• RQ4 相变在多大程度上对权重分布的变化具有鲁棒性，特别是对于非对称分布？
• RQ5 在对网络淬火连通性和权重的一般条件下，序参量动力学能否被精确解析求解？

主要发现

• 系统在临界噪声水平 ηc 处经历二阶动力相变，临界指数为 1/2，该结论由序参量 Ψ 在 ηc 附近的标度行为所证实。
• 对于恒定权重情况（cij = 1），临界噪声水平为 ηc ≈ 0.3153，且相变被解析分岔曲线良好描述。
• 对于均匀分布权重情况（cij ∈ [0,1]），临界噪声水平为 ηc ≈ 0.2838，且解析解与数值模拟高度吻合。
• 临界噪声水平 ηc 随连通性 K 增加而增大，并在 K → ∞ 时渐近趋近于 1/2，表明更高的连通性增强了系统对噪声的鲁棒性。
• 当 K ≤ 2 时，ηc = 0，意味着即使噪声极小，系统也会变得无序，且不发生相变。
• 解析框架在非常一般条件下成立：唯一要求是权重分布 P_c(x) 非对称，且结果对 P_c(x) 的具体形式具有鲁棒性。