[論文レビュー] Self-organized criticality in neural networks

M. I. Katsnelson, Vitaly Vanchurin+1 more|arXiv (Cornell University)|Jul 7, 2021

Neural Networks and Applications参考文献 17被引用数 9

ひとこと要約

本稿では、ニューラルネットワークの学習ダイナミクスが、トレーニング可能なパラメータにおけるスケール不変なフラクチュエーションを特徴とする自己組織的臨界状態へ自然に誘導することを、解析的および数値的に示している。このメカニズムは、非トレーニング可能な変数（例：ニューロンの状態）の高速な確率的平衡化と、トレーニング可能な変数（例：重み）の学習による徐々な進化という、競合するダイナミクスに起因し、確率分布におけるソフトモードを通じて中間スケールで臨界性が生じる。

ABSTRACT

We demonstrate, both analytically and numerically, that learning dynamics of neural networks is generically attracted towards a self-organized critical state. The effect can be modeled with quartic interactions between non-trainable variables (e.g. states of neurons) and trainable variables (e.g. weight matrix). Non-trainable variables are rapidly driven towards stochastic equilibrium and trainable variables are slowly driven towards learning equilibrium described by a scale-invariant distribution on a wide range of scales. Our results suggest that the scale invariance observed in many physical and biological systems might be due to some kind of learning dynamics and support the claim that the universe might be a neural network.

研究の動機と目的

• ニューラルネットワークの学習ダイナミクスが自己組織的臨界状態へ導くかどうかを調査すること。
• ニューラルネットワークにおけるトレーニング可能な変数の分布がスケール不変性を示すメカニズムを特定すること。
• 学習ダイナミクスと物理的・生物学的系で観察される臨界性の出現との間に、関連性を確立すること。
• この臨界状態がニューラルネットワークの効率性、圧縮、基礎物理学に与える影響を探索すること。

提案手法

• 非トレーニング可能な（高速に平衡化する）およびトレーニング可能な（学習によってゆっくりと変化する）変数の2種類を持つ統計力学的枠組みで学習システムをモデル化する。
• 非トレーニング可能な変数とトレーニング可能な変数の間に四次結合項を含む損失関数を定式化し、エントロピー最大化と最小化の間のアンフェアネス（曇り）を可能にする。
• 最大エントロピー原理を適用して、条件付き分布 p(x|q) とトレーニング可能な変数 q に対する有効自由エネルギー F(β,q) を導出する。
• 局所平衡近似における摂動展開を用いて、スケール不変なフラクチュエーションを引き起こすソフトモードを同定する。
• フィードフォワードニューラルネットワーク上で数値シミュレーションを実施し、重み分布の変化および重み更新のパワースペクトルを追跡する。
• 重みダイナミクスのパワースペクトル P(f) を分析し、長時間スケールでの 1/f^a 時間依存性を検出することで、臨界性を特定する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの学習ダイナミクスは、トレーニング可能なパラメータにおけるスケール不変なフラクチュエーションを示す自己組織的臨界状態へ導くことができるか？
• RQ2 トレーニング中のネットワーク重みの分布にスケール不変性を生じさせる背後にあるメカニズムは何か？
• RQ3 ニューロン状態の高速な確率的ダイナミクスと重みの学習による遅いダイナミクスの間の競合が、どのように臨界性を生じさせるのか？
• RQ4 フラクチュエーションのスケール不変範囲が、個々の重みの重要性や学習品質とどの程度相関しているか？
• RQ5 この枠組みは、物理的・生物学的系に広く見られる自己組織的臨界性の普遍性を説明できるか？

主な発見

• ニューラルネットワークの学習ダイナミクスは、広範なスケールにわたりトレーニング可能な変数がスケール不変な分布へ自然に誘導されることを示しており、自己組織的臨界性を示している。
• 中間スケールでは、確率分布におけるソフトモードがスケール不変なフラクチュエーションの原因となっている。
• 長時間スケールでは、重み更新のパワースペクトルが P(f) ∝ 1/f^a（a < 2）に従い、白色雑音（1/f^2）とは異なる臨界ダイナミクスを示している。
• 短時間スケールでは、システムは局所的最小点として振る舞い、相関のないジャンプを示しており、P(f) ∝ 1/f^2 に一致する。
• トレーニング可能な変数のフラクチュエーションの振幅は、スケール不変範囲の幅と逆相関しており、重要度が低い接続を特定する定量的指標を示唆している。
• 結果は、宇宙そのものが学習的進化を経験するニューラルネットワークであり、物理法則がこのような臨界ダイナミクスから生じるという仮説を支持している。