[論文レビュー] Free Energy Minimization Using the 2-D Cluster Variation Method: Initial Code Verification and Validation

Alianna J. Maren|arXiv (Cornell University)|Jan 24, 2018

Neural dynamics and brain function参考文献 8被引用数 3

ひとこと要約

本論文は、2次元クラスタ変動法（CVM）グリッドにおける自由エネルギー最小化の検証済み計算フレームワークを提示する。入力に依存しない自己安定化状態を実現する。相互作用エンタルピー係数 h の変化に伴い、配置変数および熱力学的量（エンタルピー、エントロピー、自由エネルギー）を計算することで、自由エネルギー最小化が成功裏に達成され、特に h = 0.8–1.3 の範囲で期待される y₂ および delta の挙動が検証された。これにより、AGIにインspiredされたニューラルアーキテクチャの実用的基盤が確立された。

ABSTRACT

A new approach for general artificial intelligence (GAI), building on neural network deep learning architectures, can make use of one or more hidden layers that have the ability to continuously reach a free energy minimum even after input stimulus is removed, allowing for a variety of possible behaviors. One reason that this approach has not been developed until now has been the lack of a suitable free energy equation. The Cluster Variation Method (CVM) offers a means for characterizing 2-D local pattern distributions, or configuration variables, and provides a free energy formalism in terms of these configuration variables. The equilibrium distribution of these configuration variables is defined in terms of a single interaction enthalpy parameter, h, for the case of equiprobable distribution of bistate units. For non-equiprobable distributions, the equilibrium distribution can be characterized by providing a fixed value for the fraction of units in the active state (x1), corresponding to the influence of a per-unit activation enthalpy, together with the pairwise interaction enthalpy parameter h. This paper provides verification and validation (V&V) for code that computes the configuration variable and thermodynamic values for 2-D CVM grids characterized by different interaction enthalpy parameters, or h-values. This work provides a foundation for experimenting with a 2-D CVM-based hidden layer that can, as an alternative to responding strictly to inputs, also now independently come to its own free energy minimum and also return to a free energy-minimized state after perturbations, which will enable a range of input-independent behaviors. A further use of this 2-D CVM grid is that by characterizing local patterns in terms of their corresponding h-values (together with their x1 values), we have a means for quantitatively characterizing different kinds of neural topographies.

研究の動機と目的

• 2次元クラスタ変動法（CVM）グリッドにおける自由エネルギー最小化の計算フレームワークの開発および検証。
• ニューラルネットワークの隠れ層が外部入力なしに自由エネルギー最小値に自動的に到達できることを可能とし、入力に依存しない動作を支援する。
• 入力の相互作用エンタルピー係数 h の変化に伴い、配置変数および熱力学的量（エンタルピー、エントロピー、自由エネルギー）を計算できるかを検証する。
• 特に脳に類似したニューラルトポグラフィーのモデル化を想定し、安定で意味のある自由エネルギー最小値を生成する h 値の実用的範囲を確立する。
• 第一原理的熱力学に基づくコンテンツ保持型で時間的に結合された計算エンジン、CORTECONニューラルネットワークアーキテクチャの基盤を提供する。

提案手法

• 自由エネルギー最小化を目的としたステップごとのステート反転アルゴリズムを用いて、2次元CVMグリッドの配置変数（y₁, y₂, y₃）を計算する。
• 2段階のプロセスを採用：まず、活性化単位の割合 x₁ を目標値に固定して、単位あたりの活性化エネルギーを暗黙的にモデル化する。次に、反復的なステート反転により自由エネルギーを最小化する。
• クラスタ変動法（CVM）を用いて、局所的な 2×2 パatters（例：A-A-B、A-B-B）の分布を配置変数としてモデル化し、正確な自由エネルギー計算を可能にする。
• 熱力学的量を導出：エンタルピーは相互作用エンタルピー係数 h と配置変数から、エントロピーは配置確率の対数から算出する。
• 自由エネルギー式 F = H - T S を適用し、T = 1 として自由エネルギーを計算し、反復処理の過程で最小化のトレースを行う。
• h = 1.0 の場合に理論的期待値（y₂ = 0.2275、delta = -0.090）と観測値を比較することで、結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 2次元CVMグリッドは外部入力なしに自由エネルギー最小値に到達可能であり、その挙動は安定的かつ検証可能か？
• RQ2 相互作用エンタルピー係数 h の関数として、配置変数（y₁, y₂, y₃）および熱力学的量（エンタルピー、エントロピー、自由エネルギー）はどのように変化するか？
• RQ3 意味的で安定した自由エネルギー最小値を生成する h 値の実用的範囲は何か？また、自由エネルギーをさらに最小化する能力に何が制限要因となるか？
• RQ4 h = 1.0 の場合に、計算された y₂ および delta（2y₂ - y₁ - y₃）の値が、確率分布が既知の理論的期待値とどの程度一致するか？
• RQ5 自由エネルギー最小化を継続しつつ、指定された x₁（活性化単位の割合）を維持できるか？これはニューラル活性化ダイナミクスのモデル化に何を示唆するか？

主な発見

• コードは2次元CVMグリッドにおいて自由エネルギー最小化を成功裏に達成し、摂動後に最小自由エネルギー状態に安定化する。これにより、自己安定化平衡状態の挙動が確認された。
• h = 1.0 の場合、観測された delta 値（−0.0887）は理論的期待値（−0.090）に近く、自由エネルギー計算および摂動論理の正確性が検証された。
• h = 1.0 における y₂ 値（A-B および B-A 組合せの割合に比例）は約 0.2275 に安定し、一様確率分布からの期待値と整合的で、配置変数計算の正しさが裏付けられた。
• h ≥ 1.3 の場合、z₃ 値（A-A-B トリプレットの割合）は約 0.04 に低下し、エンタルピー最小化の実用的限界に達していることが示唆された。256単位のグリッドでは A インターランド周辺に約 51 個の境界単位が存在する。
• h ≥ 1.3 の場合、配置変数が安定し、さらに h を大きくしても自由エネルギー最小化に顕著な改善が得られないことから、エンタルピー項が自由エネルギーを支配するようになる。
• 0.8 ≤ h ≤ 1.3 の範囲が最適であり、エンタルピーとエントロピーの寄与が同程度のスケールにあるため、一方が他方を支配するのを避けることができる。