[논문 리뷰] Free Energy Minimization Using the 2-D Cluster Variation Method: Initial Code Verification and Validation

Alianna J. Maren|arXiv (Cornell University)|2018. 01. 24.

Neural dynamics and brain function참고 문헌 8인용 수 3

한 줄 요약

이 논문은 2차원 클러스터 변형 방법(CVM) 격자에서 자유 에너지 최소화를 위한 검증된 계산 프레임워크를 제시한다. 이는 입력에 관계없이 자율적인 상태 안정화를 가능하게 한다. 상호작용 엔탈피 매개변수(h)를 변화시키며 구성 변수와 열역학적 양(엔탈피, 엔트로피, 자유 에너지)을 계산함으로써 코드는 자유 에너지 최소화를 성공적으로 달성하였으며, 검증을 통해 y₂ 및 델타 값의 예상되는 행동이 확인되었고, 특히 h = 0.8–1.3 범위에서 안정적인 결과를 보였으며, 이는 AGI 기반 신경망 아키텍처에 실용적인 기반을 제공한다.

ABSTRACT

A new approach for general artificial intelligence (GAI), building on neural network deep learning architectures, can make use of one or more hidden layers that have the ability to continuously reach a free energy minimum even after input stimulus is removed, allowing for a variety of possible behaviors. One reason that this approach has not been developed until now has been the lack of a suitable free energy equation. The Cluster Variation Method (CVM) offers a means for characterizing 2-D local pattern distributions, or configuration variables, and provides a free energy formalism in terms of these configuration variables. The equilibrium distribution of these configuration variables is defined in terms of a single interaction enthalpy parameter, h, for the case of equiprobable distribution of bistate units. For non-equiprobable distributions, the equilibrium distribution can be characterized by providing a fixed value for the fraction of units in the active state (x1), corresponding to the influence of a per-unit activation enthalpy, together with the pairwise interaction enthalpy parameter h. This paper provides verification and validation (V&V) for code that computes the configuration variable and thermodynamic values for 2-D CVM grids characterized by different interaction enthalpy parameters, or h-values. This work provides a foundation for experimenting with a 2-D CVM-based hidden layer that can, as an alternative to responding strictly to inputs, also now independently come to its own free energy minimum and also return to a free energy-minimized state after perturbations, which will enable a range of input-independent behaviors. A further use of this 2-D CVM grid is that by characterizing local patterns in terms of their corresponding h-values (together with their x1 values), we have a means for quantitatively characterizing different kinds of neural topographies.

연구 동기 및 목표

• 2차원 클러스터 변형 방법(CVM) 격자에서 자유 에너지 최소화를 위한 계산 프레임워크를 개발하고 검증하는 것.
• 신경망의 은닉층이 외부 입력 없이도 자율적으로 자유 에너지 최소값에 도달하도록 하여, 입력에 독립적인 행동을 지원하는 것.
• 변화하는 상호작용 엔탈피 매개변수(h) 하에서 구성 변수와 열역학적 양(엔탈피, 엔트로피, 자유 에너지)을 계산할 수 있는 코드의 능력을 검증하는 것.
• 안정적이고 의미 있는 자유 에너지 최소값을 생성하는 h-값의 실용적 범위를 확립하는 것. 특히 뇌 유사 신경 구조를 모델링하는 데 중점을 둔다.
• CORTECON 신경망 아키텍처의 기초를 제공하는 것. 이는 열역학적 기본 원리에 기반한 콘텐츠 유지 및 시간적 연결 특성을 지닌 계산 엔진이다.

제안 방법

• 자유 에너지 최소화를 위해 단위 상태를 뒤집는 스토케스틱 펌핑 알고리즘을 사용하여 2차원 CVM 격자에 대한 구성 변수(y₁, y₂, y₃)를 계산한다.
• 이중 단계 프로세스를 적용한다. 첫 번째로, 활성 단위의 목표 비율(x₁)을 강제로 설정하여 단위 활성 에너지를 암묵적으로 모델링한다. 두 번째로, 반복적인 상태 뒤집기를 통해 자유 에너지를 최소화한다.
• 클러스터 변형 방법(CVM)을 사용하여 국소 2x2 패턴 분포(예: A-A-B, A-B-B)를 구성 변수로 모델링함으로써 정확한 자유 에너지 계산이 가능해진다.
• 열역학적 양을 유도한다: 엔탈피는 상호작용 엔탈피 매개변수 h와 구성 변수로부터 유도된다. 엔트로피는 구성 확률의 로그로부터 유도된다.
• 자유 에너지 방정식 F = H - T S를 적용하며, T를 1로 설정하여 자유 에너지를 계산하고 반복 과정에서 최소화 추적을 수행한다.
• 결과를 검증하기 위해 h = 1.0일 때 관측된 y₂ 및 델타(2y₂ - y₁ - y₃) 값과 이론적 기대치를 비교한다. 이론적으로 균일한 확률 분포일 경우 y₂ = 0.2275, 델타 = -0.090이 된다.

실험 결과

연구 질문

• RQ1 2차원 CVM 격자는 외부 입력 없이도 자율적으로 자유 에너지 최소값에 도달할 수 있으며, 이 행동은 안정적이고 검증 가능한가?
• RQ2 상호작용 엔탈피 매개변수 h에 따라 구성 변수(y₁, y₂, y₃)와 열역학적 양(엔탈피, 엔트로피, 자유 에너지)은 어떻게 변화하는가?
• RQ3 의미 있고 안정적인 자유 에너지 최소값을 생성하는 h-값의 실용적 범위는 무엇이며, 시스템이 자유 에너지를 더 이상 최소화할 수 없는 한계는 무엇인가?
• RQ4 h = 1.0일 때 계산된 y₂ 및 델타(2y₂ - y₁ - y₃) 값이 이론적 기대치와 얼마나 일치하는가? 이 경우 확률 분포가 알려져 있다.
• RQ5 자기 에너지 최소화 과정에서 특정 x₁(활성 단위 비율)을 유지할 수 있는가? 이는 신경 활성 동역학 모델링에 어떤 의미를 갖는가?

주요 결과

• 코드는 2차원 CVM 격자에서 자유 에너지 최소화를 성공적으로 달성하였으며, 외부 흔들림 후 시스템이 자유 에너지 최소 상태로 안정화되어 자율적 평형 행동이 확인되었다.
• h = 1.0일 때 관측된 델타 값(−0.0887)은 이론적 기대치(−0.090)와 매우 가까이 일치하여 자유 에너지 계산 및 펌핑 논리의 정확성이 검증되었다.
• h = 1.0일 때 y₂ 값(비례적으로 A-B 및 B-A 쌍의 비율)은 약 0.2275로 안정화되며, 균일한 확률 분포에서 예상되는 값과 일치하여 구성 변수 계산의 정확성이 확인되었다.
• h ≥ 1.3일 경우 z₃ 값(비율 A-A-B 삼중조합)은 약 0.04로 감소하여, 시스템이 엔탈피 최소화에서 실용적 한계에 도달했음을 시사한다. 256단위 격자에서 A-섬 주변에 약 51개의 경계 단위가 존재한다.
• h ≥ 1.3일 경우 엔탈피 항이 자유 에너지에서 지배적이며, 구성 변수가 안정화되고 h의 추가 증가로도 자유 에너지 최소화에 눈에 띄는 향상이 없다.
• 0.8 ≤ h ≤ 1.3 범위는 엔탈피와 엔트로피 기여도가 유사한 척도에서 균형을 이루며, 상호작용의 우세함을 피하기 위한 최적의 범위이다.