[論文レビュー] Self-orthogonalizing attractor neural networks emerging from the free energy principle

Tamás Spisák, Karl Friston|ArXiv.org|May 28, 2025

Embodied and Extended Cognition被引用数 3

ひとこと要約

この論文は Free Energy Principle から深い特別な分割を用いてアトラクタニューラルネットワークを導出し、推論の出現、学習ルール、ほぼ直交するアトラクタが一般化とシーケンス処理を強化することを示す。

ABSTRACT

Attractor dynamics are a hallmark of many complex systems, including the brain. Understanding how such self-organizing dynamics emerge from first principles is crucial for advancing our understanding of neuronal computations and the design of artificial intelligence systems. Here we formalize how attractor networks emerge from the free energy principle applied to a universal partitioning of random dynamical systems. Our approach obviates the need for explicitly imposed learning and inference rules and identifies emergent, but efficient and biologically plausible inference and learning dynamics for such self-organizing systems. These result in a collective, multi-level Bayesian active inference process. Attractors on the free energy landscape encode prior beliefs; inference integrates sensory data into posterior beliefs; and learning fine-tunes couplings to minimize long-term surprise. Analytically and via simulations, we establish that the proposed networks favor approximately orthogonalized attractor representations, a consequence of simultaneously optimizing predictive accuracy and model complexity. These attractors efficiently span the input subspace, enhancing generalization and the mutual information between hidden causes and observable effects. Furthermore, while random data presentation leads to symmetric and sparse couplings, sequential data fosters asymmetric couplings and non-equilibrium steady-state dynamics, offering a natural extension to conventional Boltzmann Machines. Our findings offer a unifying theory of self-organizing attractor networks, providing novel insights for AI and neuroscience.

研究の動機と目的

• Free Energy Principle (FEP) によるアトラクタネットワークの自己組織化を動機づける。
• 深い特別分割が明示的なルールなしに emergent inference と学習ダイナミクスを生み出すことを示す。
• 学習されたアトラクタがほぼ直交するようになり、一般化と情報結合の改善に寄与する。
• 系列学習、継続学習、および破壊的忘却への耐性を示す。
• AI と神経科学に対する検証可能な予測を提供し、影響を論じる。

提案手法

• 自己組織化システムをベイズ推論者として記述するために特別分割と深い分割を定義する。
• 連続ベルヌーイ内部状態を用いて部分粒子をパラメータ化し、微視的境界を決定論的な重み行列 J で表す。
• 結合分布 p(σ) を導出し、対称成分 J† = 0.5(J+J^T) によってボルツマン様形に還元されることを示す。
• 各ノードの更新を確率的でシグモイド様にする自由エネルギー最小化を適用する: E_q[σ_i] = L(b_i + sum_j J_{ij} σ_j)。
• VFE からヘビアン/反ヘビアン学習ルールを導出し、観測された相関や予測相関に基づいて J_ij を更新する: ΔJ_ij ∝ σ_i σ_j − L(b_i + ∑_k J_{ik} σ_k) σ_j。
• 学習は精度と複雑さの両方を最小化して、直交アトラクタ表現を促進し、入力部分空間を効率的に張るようにする。
• 対称の場合のマクロスケールなベイズ推論を MCMC ライクなサンプリングで説明し、非対称結合による予測符号を用いた予測コードを示す。

実験結果

リサーチクエスチョン

• RQ1 Free Energy Principle が事前に学習ルールを持たない自己組織化アトラクタネットワークを生成できるか？
• RQ2 深い特別分割は効率と一般化を最大化するほぼ直交するアトラクタ表現を生み出すか？
• RQ3 対称結合と非対称結合はアトラクタ動作、系列学習、非平衡挙動にどう影響するか？
• RQ4 このようなネットワークは intrinsic dynamics を通じて継続学習と破局的忘却に耐えられるか？
• RQ5 このFEPベースのアトラクタフレームワークからAIと神経科学への予測は何か？

主な発見

• FEP を深い特別分割へ適用することでアトラクタネットワークが出現し、推論と学習ダイナミクスが出現する。
• ネットワークの定常分布は結合の対称成分によって支配され、反対称成分は定常状態を変更せずに系列ダイナミクスを推進するボルツマン様形を取る。
• VFE からヘビアン/反ヘビアン学習ルールが発生し、瞬時の相関に基づくオンラインでスケーラブルな結合更新を可能にする。
• 学習はモデルの複雑さを最小化し、入力部分空間を効率的に張るほぼ直交するアトラクタ表現を促進する。
• 系列データは非対称結合と非平衡定常状態ダイナミクスを誘発し、ボルツマン機械を拡張して系列アトラクタと継続学習を可能にする。
• シミュレーションは直交基底の形成、未知データへの一般化、系列学習、破局的忘却への耐性を示す。