[论文解读] Free Energy Minimization Using the 2-D Cluster Variation Method: Initial Code Verification and Validation

Alianna J. Maren|arXiv (Cornell University)|Jan 24, 2018

Neural dynamics and brain function参考文献 8被引用 3

一句话总结

本文提出了一种用于二维簇变分法（CVM）网格中自由能最小化的可验证计算框架，实现了在无外部输入情况下的自主状态稳定。通过计算不同相互作用焓参数（h）下的构型变量和热力学量（焓、熵、自由能），该代码成功实现了自由能最小化，验证结果表明在 y₂ 和 delta 值上表现出预期行为，尤其在 h = 0.8–1.3 范围内，为受人工通用智能（AGI）启发的神经网络架构奠定了实用基础。

ABSTRACT

A new approach for general artificial intelligence (GAI), building on neural network deep learning architectures, can make use of one or more hidden layers that have the ability to continuously reach a free energy minimum even after input stimulus is removed, allowing for a variety of possible behaviors. One reason that this approach has not been developed until now has been the lack of a suitable free energy equation. The Cluster Variation Method (CVM) offers a means for characterizing 2-D local pattern distributions, or configuration variables, and provides a free energy formalism in terms of these configuration variables. The equilibrium distribution of these configuration variables is defined in terms of a single interaction enthalpy parameter, h, for the case of equiprobable distribution of bistate units. For non-equiprobable distributions, the equilibrium distribution can be characterized by providing a fixed value for the fraction of units in the active state (x1), corresponding to the influence of a per-unit activation enthalpy, together with the pairwise interaction enthalpy parameter h. This paper provides verification and validation (V&V) for code that computes the configuration variable and thermodynamic values for 2-D CVM grids characterized by different interaction enthalpy parameters, or h-values. This work provides a foundation for experimenting with a 2-D CVM-based hidden layer that can, as an alternative to responding strictly to inputs, also now independently come to its own free energy minimum and also return to a free energy-minimized state after perturbations, which will enable a range of input-independent behaviors. A further use of this 2-D CVM grid is that by characterizing local patterns in terms of their corresponding h-values (together with their x1 values), we have a means for quantitatively characterizing different kinds of neural topographies.

研究动机与目标

• 开发并验证一种用于二维簇变分法（CVM）网格中自由能最小化的计算框架。
• 使神经网络中的隐层能够自主达到自由能极小值，而无需外部输入，从而支持输入无关的行为。
• 验证代码在不同相互作用焓参数（h）下计算构型变量和热力学量（焓、熵、自由能）的能力。
• 确定能够产生稳定且有意义的自由能极小值的 h 值实用范围，尤其适用于建模类脑神经拓扑结构。
• 为 CORTECON 神经网络架构提供基础，该架构是一种基于第一性原理热力学的、具备内容保持性和时序关联性的计算引擎。

提出的方法

• 使用随机扰动算法，通过翻转单元状态来计算二维CVM网格中的构型变量（y₁, y₂, y₃），以最小化自由能。
• 采用两阶段流程：首先，通过设定活性单元的目标比例（x₁）来隐式建模单位激活能；其次，通过迭代状态翻转来最小化自由能。
• 使用簇变分法（CVM）将局部 2×2 图案分布（如 A-A-B、A-B-B）建模为构型变量，从而实现自由能的精确计算。
• 推导热力学量：焓由相互作用焓参数 h 和构型变量得出；熵由构型概率的对数得出。
• 应用自由能方程 F = H - T S，其中 T 设为 1，以计算自由能并跟踪迭代过程中的最小化过程。
• 通过将 h = 1.0 时观察到的 y₂ 和 delta（2y₂ - y₁ - y₃）值与理论预期进行比较，对结果进行验证，此时均匀概率分布下 y₂ = 0.2275 且 delta = -0.090。

实验结果

研究问题

• RQ1 二维CVM网格是否能无需外部输入即自主达到自由能极小值，且该行为是否稳定且可验证？
• RQ2 随着相互作用焓参数 h 的变化，构型变量（y₁, y₂, y₃）和热力学量（焓、熵、自由能）如何演化？
• RQ3 哪些 h 值范围能产生有意义且稳定的自由能极小值？系统的自由能进一步最小化的限制因素是什么？
• RQ4 在 h = 1.0 时，计算得到的 y₂ 和 delta（2y₂ - y₁ - y₃）值在多大程度上与理论预期一致，此时概率分布是已知的？
• RQ5 系统能否在最小化自由能的同时维持指定的 x₁（活性单元比例）？这对建模神经激活动力学意味着什么？

主要发现

• 该代码成功在二维CVM网格中实现自由能最小化，系统在扰动后稳定于自由能极小状态，证实了其自主平衡行为。
• 在 h = 1.0 时，观察到的 delta 值（−0.0887）与理论预期（−0.090）高度一致，验证了自由能计算和扰动逻辑的准确性。
• 在 h = 1.0 时，y₂ 值（与 A-B 和 B-A 对成比例）稳定在约 0.2275，与均匀概率分布下的理论值一致，证实了构型变量计算的正确性。
• 当 h ≥ 1.3 时，z₃ 值（A-A-B 三元组的比例）下降至约 0.04，表明系统在焓最小化方面已达到实际极限，256 个单元的网格中约有 51 个边界单元围绕 A 孤岛分布。
• 当 h ≥ 1.3 时，焓项主导自由能，因为构型变量已稳定，h 的进一步增加不再显著改善自由能最小化效果。
• 0.8 ≤ h ≤ 1.3 范围为最优，此时焓与熵的贡献量级相近，避免了某一者主导另一者。