[论文解读] Dimension of activity in random neural networks

David G. Clark, L. F. Abbott+1 more|PubMed|Jul 25, 2022

Neural Networks and Applications被引用 8

一句话总结

该论文提出一种两站点腔体动力学平均场理论（DMFT），用于计算具有 quenched disorder 的随机神经网络中的交叉协方差，揭示集体活动存在于一个广泛但分数上低维的子空间中，且具有长时标特性。该方法适用于一般单体动力学，并能捕捉非 i.i.d. 的耦合，例如部分对称的连接结构。

ABSTRACT

Neural networks are high-dimensional nonlinear dynamical systems that process information through the coordinated activity of many connected units. Understanding how biological and machine-learning networks function and learn requires knowledge of the structure of this coordinated activity, information contained, for example, in cross covariances between units. Self-consistent dynamical mean field theory (DMFT) has elucidated several features of random neural networks-in particular, that they can generate chaotic activity-however, a calculation of cross covariances using this approach has not been provided. Here, we calculate cross covariances self-consistently via a two-site cavity DMFT. We use this theory to probe spatiotemporal features of activity coordination in a classic random-network model with independent and identically distributed (i.i.d.) couplings, showing an extensive but fractionally low effective dimension of activity and a long population-level timescale. Our formulas apply to a wide range of single-unit dynamics and generalize to non-i.i.d. couplings. As an example of the latter, we analyze the case of partially symmetric couplings.

研究动机与目标

• 为了计算高维随机神经网络中的交叉协方差，这些协方差对理解集体活动结构至关重要，但在标准单站点 DMFT 中缺失。
• 为了建立一个自洽框架，用于计算在递归随机网络中活动的有效维度和种群级时标。
• 为了将 DMFT 推广至非 i.i.d. 耦合，例如部分对称连接，以模拟神经回路中学习诱导的结构变化。
• 为理解低维集体模态如何在混沌随机网络中涌现提供理论基础，这对生物和人工神经系统均具相关性。

提出的方法

• 基于腔体方法构建两站点腔体 DMFT，将一对微扰耦合的单元视为整体，以计算联合统计量和交叉协方差。
• 利用傅里叶变换和再生核技术，推导出活动与预激活量的两点关联函数的自洽方程组。
• 引入耦合强度的微扰展开，以处理逆傅里叶变换中的发散问题，特别是在频率空间的反对角线上。
• 将形式化方法应用于 Sompolinsky 等人（1988）的模型，采用 i.i.d. 高斯耦合 $ J_{ij} \sim \mathcal{N}(0, g^2/N) $，实现有效维度和时标的计算。
• 通过引入自耦合项 $ \rho \to \rho \neq 0 $，将理论推广至非 i.i.d. 耦合，以建模部分对称连接。
• 利用 Furutsu-Novikov 定理求解单站点 DMFT 方程的数值解，以计算 $ S^\theta(\tau) $，从而实现对相关性在相关噪声下的自洽评估。

实验结果

研究问题

• RQ1 在具有 i.i.d. 耦合的随机递归神经网络中，集体活动的有效维度是多少？其随网络规模如何变化？
• RQ2 集体模态的种群级时标是什么？与单个单元的时标相比如何？
• RQ3 当耦合不再为 i.i.d. 时，例如在部分对称网络中，交叉协方差和集体动力学如何变化？
• RQ4 两站点腔体 DMFT 框架能否准确捕捉具有 quenched disorder 的高维非线性动力系统中集体活动的结构？

主要发现

• 在 i.i.d. 随机网络中，活动的有效维度是广延的（随 $ N $ 增长），但分数上较低，表明集体动力学被限制在相对于全网络维度而言较小的子空间中。
• 集体模态的种群级时标显著长于单个单元的时标，且当 $ \nu \to 1 $ 时，该比值发散，表明集体动力学缓慢。
• 理论预测交叉协方差的逆变换在 $ \frac{1}{\nu} $ 处发散，通过频率空间中厚度为 $ \tilde{\text{O}}(\nu) $ 的脊状结构实现解析化解，从而在时域中导致 $ \tilde{\text{O}}(1/\nu) $ 的发散。
• 当 $ g \to \infty $ 时，有效维度 $ \text{PR}^\theta $ 达到有限值，与数值模拟结果及牛顿极限下的已知结果一致。
• 该理论准确捕捉了部分对称耦合（$ \rho > 0 $）的影响，DMFT 对 $ \text{PR}^\theta $ 和 $ \rho^\theta(\tau, \tau) $ 的预测与模拟结果在 $ \rho = 0.6 $ 以内高度一致，尽管在更高 $ \rho $ 时存在数值挑战。
• 交叉协方差 $ \rho^\theta(\bm{\tau}) $ 在频率空间沿 $ \bm{\tau}_+ $ 方向表现出发散脊状结构，通过变量替换 $ \tau_+ \to \nu \tau_+ $ 实现解析化解，从而在时域中产生 $ \tilde{\text{O}}(1/\nu) $ 的发散。