[论文解读] Self-orthogonalizing attractor neural networks emerging from the free energy principle

Tamás Spisák, Karl Friston|ArXiv.org|May 28, 2025

Embodied and Extended Cognition被引用 3

一句话总结

该论文通过深度特定分区将自由能原理转化为吸引子神经网络，展示了涌现推断、学习规则，以及近似正交的吸引子，从而提升泛化和序列处理。

ABSTRACT

Attractor dynamics are a hallmark of many complex systems, including the brain. Understanding how such self-organizing dynamics emerge from first principles is crucial for advancing our understanding of neuronal computations and the design of artificial intelligence systems. Here we formalize how attractor networks emerge from the free energy principle applied to a universal partitioning of random dynamical systems. Our approach obviates the need for explicitly imposed learning and inference rules and identifies emergent, but efficient and biologically plausible inference and learning dynamics for such self-organizing systems. These result in a collective, multi-level Bayesian active inference process. Attractors on the free energy landscape encode prior beliefs; inference integrates sensory data into posterior beliefs; and learning fine-tunes couplings to minimize long-term surprise. Analytically and via simulations, we establish that the proposed networks favor approximately orthogonalized attractor representations, a consequence of simultaneously optimizing predictive accuracy and model complexity. These attractors efficiently span the input subspace, enhancing generalization and the mutual information between hidden causes and observable effects. Furthermore, while random data presentation leads to symmetric and sparse couplings, sequential data fosters asymmetric couplings and non-equilibrium steady-state dynamics, offering a natural extension to conventional Boltzmann Machines. Our findings offer a unifying theory of self-organizing attractor networks, providing novel insights for AI and neuroscience.

研究动机与目标

• 通过自由能原理（FEP）促成吸引子网络的自适应自组织之动机。
• 展示深度特定分区在没有显式规则的情况下产生涌现推断与学习动力学。
• 证明学习得到的吸引子近似正交，提升泛化与信息聚合。
• 说明序列学习、持续学习，以及对灾难性遗忘的抵抗。
• 提供可验证的预测并讨论对AI与神经科学的影响。

提出的方法

• 定义特定分区和深度分区，用以描述自组织系统为贝叶斯推断者。
• 用连续伯努利内部状态和确定性的微尺度边界通过权重矩阵J参数化子粒子。
• 推导联合分布p(σ)，并在对称性J† = 0.5(J+J^T)下演化为类似Boltzmann的随机连续状态形式。
• 通过自由能最小化获得每个节点的概率性、类似S型的更新：E_q[σ_i] = L(b_i + ∑_j J_{ij} σ_j)。
• 从VFE推导出Hebbian/anti-Hebbian学习规则，使J_ij向观察/预测相关性更新或远离相关性：ΔJ_ij ∝ σ_i σ_j − L(b_i + ∑_k J_{ik} σ_k) σ_j。
• 讨论学习如何同时最小化模型复杂度与准确度，以鼓励正交的吸引子表示，高效覆盖输入子空间。
• 在对称情况通过MCMC样本类的宏观尺度贝叶斯推断，以及在非对称耦合下的预测编码解释。

实验结果

研究问题

• RQ1 自由能原理是否能够在没有预先设定学习规则的情况下生成自组织的吸引子网络？
• RQ2 深度特定分区是否导致近似正交的吸引子表示，以最大化效率和泛化？
• RQ3 对称和非对称耦合如何影响吸引子动力学、序列学习和非平衡行为？
• RQ4 此类网络是否通过内在动力学支持持续学习并抵御灾难性遗忘？
• RQ5 基于FEP的吸引子框架对AI和神经科学有哪些可预测的结论？

主要发现

• 将自由能原理应用于深度特定分区，吸引子网络涌现，产生涌现推断与学习动力学。
• 网络的平稳分布呈Boltzmann样形式，由耦合的对称部分支配；而反对称部分驱动序列动力学而不改变稳态。
• 从VFE推导出Hebbian/anti-Hebbian学习规则，使耦合在线、可扩展地基于瞬时相关性更新。
• 学习最小化模型复杂度，促进近似正交的吸引子表示，能高效覆盖输入子空间。
• 序列数据引发非对称耦合和非平衡稳态动力学，扩展Boltzmann机并实现序列吸引子与持续学习。
• 仿真结果显示正交基形成、对未见数据的泛化、序列学习以及对灾难性遗忘的抵抗。