[論文レビュー] Dimension of activity in random neural networks

David G. Clark, L. F. Abbott+1 more|PubMed|Jul 25, 2022

Neural Networks and Applications被引用数 8

ひとこと要約

本稿では、 quenched disorder を有するランダムニューラルネットワークにおけるクロス共分散を計算するための二地点キャビティ動的平均場理論（DMFT）を開発した。その結果、集団的活動が広範囲にわたるが、相対的に低次元の部分空間に閉じ込められ、長時間スケールを示すことが明らかになった。この手法は一般の単位ダイナミクスに適用可能であり、部分的に対称的な結合など、i.i.d. でない結合も捉えることができる。

ABSTRACT

Neural networks are high-dimensional nonlinear dynamical systems that process information through the coordinated activity of many connected units. Understanding how biological and machine-learning networks function and learn requires knowledge of the structure of this coordinated activity, information contained, for example, in cross covariances between units. Self-consistent dynamical mean field theory (DMFT) has elucidated several features of random neural networks-in particular, that they can generate chaotic activity-however, a calculation of cross covariances using this approach has not been provided. Here, we calculate cross covariances self-consistently via a two-site cavity DMFT. We use this theory to probe spatiotemporal features of activity coordination in a classic random-network model with independent and identically distributed (i.i.d.) couplings, showing an extensive but fractionally low effective dimension of activity and a long population-level timescale. Our formulas apply to a wide range of single-unit dynamics and generalize to non-i.i.d. couplings. As an example of the latter, we analyze the case of partially symmetric couplings.

研究の動機と目的

• 高次元のランダムニューラルネットワークにおけるクロス共分散を計算すること。これは集団的活動の構造を理解する上で不可欠であるが、標準的な単一地点 DMFT では欠落している。
• 再帰的ランダムネットワークにおける活動の有効次元と集団レベルの時間スケールを計算する自己無撞着なフレームワークを構築すること。
• 学習に起因する構造的変化をモデル化するため、部分的に対称的な結合を含む i.i.d. でない結合への DMFT の一般化を行うこと。
• 生物学的および人工ニューラル系の両者に関連する、カオス的ランダムネットワークにおける低次元の集団モードの出現を理論的に理解する基盤を提供すること。

提案手法

• キャビティ法に基づく二地点キャビティ DMFT を定式化し、ペアとして摂動的に結合されたユニットを扱って連関統計およびクロス共分散を計算する。
• フーリエ変換およびリゾルベント技法を用いて、活動および前活性化の二点相関関数の自己無撞着な方程式系を導出する。
• 結合強度における摂動展開を導入し、周波数空間における反対角に沿った逆フーリエ変換における発散を扱う。
• i.i.d. ガウス結合 $ J_{ij} \tilde{N}(0, g^2/N) $ を有する Sompolinsky et al. (1988) モデルに形式的枠組みを適用し、有効次元および時間スケールの計算を可能にする。
• 自己結合項 $ \rho \to \rho \neq 0 $ を組み込むことで、非 i.i.d. な結合に理論を適応し、部分的に対称的な結合をモデル化する。
• Furutsu-Novikov の定理を用いて単一地点 DMFT 方程式の数値解法を実行し、$ S^\theta(\tau) $ を計算することで、相関関係の自己無撞着な評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. 結合を有するランダム再帰的ニューラルネットワークにおける集団的活動の有効次元は何か？ また、ネットワークサイズに伴いどのようにスケーリングするか？
• RQ2 集団レベルの時間スケールは何か？ また、個々のユニットの時間スケールと比較するとどうなるか？
• RQ3 結合が i.i.d. ではなくなった場合、例えば部分的に対称的なネットワークにおいて、クロス共分散および集団的ダイナミクスはどのように変化するか？
• RQ4 二地点キャビティ DMFT フレームワークは、 quenched disorder を有する高次元非線形力学系における集団的活動の構造を正確に捉えることができるか？

主な発見

• i.i.d. ランダムネットワークにおける活動の有効次元は、$ N $ に比例して広範囲に広がるが、相対的に低いため、集団的ダイナミクスが全ネットワーク次元に比べて小さな部分空間に閉じ込められていることを示唆している。
• 集団モードの集団レベルの時間スケールは、個々のユニットの時間スケールよりも著しく長く、$ \nu \to 1 $ のとき比が発散するため、遅い集団的ダイナミクスであることが示された。
• 理論はクロス共分散の逆変換における $ \frac{1}{\nu} $ 発散を予測し、周波数空間における分厚さ $ \tilde{\text{O}}(\nu) $ のリッジ構造により解析的に解消され、時間領域における $ \tilde{\text{O}}(1/\nu) $ 発散を生じることを示した。
• $ g \to \infty $ のとき、有効次元 $ \text{PR}^\theta $ は有限値に飽和し、数値シミュレーションおよびニュートン力学的極限における既知の結果と整合的である。
• 理論は部分的に対称的結合（$ \rho > 0 $）の効果を正確に捉えており、$ \rho = 0.6 $ まで $ \text{PR}^\theta $ および $ \rho^\theta(\tau, \tau) $ の DMFT 予測がシミュレーションと一致するが、$ \rho $ がより高い値では数値的困難が生じる。
• クロス共分散 $ \rho^\theta(\bm{\tau}) $ は、$ \bm{\tau}_+ $ 沿いに発散するリッジを示し、$ \tau_+ \to \nu \tau_+ $ の再スケーリングにより周波数空間で解消され、時間領域では $ \tilde{\text{O}}(1/\nu) $ 発散を生じることを示した。