[논문 리뷰] A Variational Latent Equilibrium for Learning in Neuronal Circuits

Simon D. Brandt, Paul Haider외 3명|arXiv (Cornell University)|2026. 03. 10.

Neural dynamics and brain function인용 수 0

한 줄 요약

생물학적으로 타당하고 국소적 방식으로 시간에 따른 역전파(backpropagation through time)를 근사하는 변분 잠재 평형 프레임워크를 도입하고, 에너지 기반 형식에서 오차 전파 및 학습 규칙을 도출한다.

ABSTRACT

Brains remain unrivaled in their ability to recognize and generate complex spatiotemporal patterns. While AI is able to reproduce some of these capabilities, deep learning algorithms remain largely at odds with our current understanding of brain circuitry and dynamics. This is prominently the case for backpropagation through time (BPTT), the go-to algorithm for learning complex temporal dependencies. In this work we propose a general formalism to approximate BPTT in a controlled, biologically plausible manner. Our approach builds on, unifies and extends several previous approaches to local, time-continuous, phase-free spatiotemporal credit assignment based on principles of energy conservation and extremal action. Our starting point is a prospective energy function of neuronal states, from which we calculate real-time error dynamics for time-continuous neuronal networks. In the general case, this provides a simple and straightforward derivation of the adjoint method result for neuronal networks, the time-continuous equivalent to BPTT. With a few modifications, we can turn this into a fully local (in space and time) set of equations for neuron and synapse dynamics. Our theory provides a rigorous framework for spatiotemporal deep learning in the brain, while simultaneously suggesting a blueprint for physical circuits capable of carrying out these computations. These results reframe and extend the recently proposed Generalized Latent Equilibrium (GLE) model.

연구 동기 및 목표

• 생물학적 및 물리적 제약 하에서 제약 최적화 관점으로 뉴런 회로의 학습을 촉진한다.
• LE와 GLE를 지역적이고 시간 연속적인 설정 내에서 통일하고 확장하는 일관된 첫 원칙 기반의 변분 프레임워크를 개발한다.
• 에너지 함수로부터 뉴런 및 시냅스 특이적 동역학과 국소 가소성 규칙을 도출한다.
• 이 프레임워크가 adjoint 방법의 결과를 회수하고 시공간적 크레딧 할당에 대한 생물학적으로 타당한 경로를 제공하는지 보인다.

제안 방법

• 네트워크 에너지 E(t) = 1/2 sum_i e_i^2(t) + beta C(t) 를 가정하고 목표 비용 C와 일치하도록 통합 에너지를 최소화한다.
• 뉴런 상태와 시냅스 입력에서 기입된 로컬 불일치 오차 e_i 를 e_i = u_i^m(bar) - sum_j W_ij phi_j(u^r_j_bar) 로 정의한다.
• 도함수 기반 학습 규칙 dot{W}_{ij} = e_i r_j 및 dot{theta}_i ~ -∂E/∂θ_i 를 도출하여 국소 가소성을 나타낸다.
• Euler-Lagrange 방정식이 고려된 시스템에 대해 adjoint method와 동등한 오차 동역학을 산출함을 보인다.
• 공간 및 시간 면에서 완전한 국소적(완전 로컬) 뇌-유사 회로에서 이러한 동역학을 구현할 가능성을 논의한다.
• 일반화 잠재 평형(Generalized Latent Equilibrium, GLE) 및 LE, NLA 와 같은 신경 변형에 프레임워크를 연관시킨다.

실험 결과

연구 질문

• RQ1 공간-시간 작업을 위해 생물학적으로 타당하고 시간 연속적인 방식으로 제약 최적화를 어떻게 해결할 수 있는가?
• RQ2 처음 원리 기반의 에너지 기반 형식이 adjoint-based 학습 결과(AM)를 공간과 시간 면에서 로컬하게 유지하면서 재현할 수 있는가?
• RQ3 뉴런 회로에서 시공간적 크레딧 할당을 구현하는 명시적 오차 전파 및 가소성 규칙은 무엇인가?
• RQ4 변분 잠재 평형 프레임워크가 GLE, LE 및 관련 모델과 어떤 관련이 있으며 어떻게 확장하는가?
• RQ5 생물학적 타당성을 위한 어떠한 근사들이 필요한지 그리고 이 프레임워크 안에서 왜곡을 어떻게 보정할 수 있는가?

주요 결과

• 변분 에너지 프레임워크는 시공간 학습에 대해 adjoint method와 동등한 오차 동역학을 산출한다.
• 로컬 뉴런 에너지에서 도출된 로컬 가소성 규칙 dot{W}_{ij} = e_i r_j 은 생물학적으로 타당한 학습을 가능하게 한다.
• 해당 도출은 AM 결과를 재현하면서 기본 원리를 단순화하고 명확히 한다.
• 이 프레임워크는 LE와 GLE를 통합하고 확장하여 완전히 로컬하고 시간 연속적인 시공간적 크레딧 할당의 경로를 제공한다.
• 복잡한 시간적 행동 재현 학습에서의 잠재적 응용이 시연되었으며, 물리적 신경 회로를 위한 청사진을 제공한다.