[論文レビュー] A Variational Latent Equilibrium for Learning in Neuronal Circuits

Simon D. Brandt, Paul Haider+3 more|arXiv (Cornell University)|Mar 10, 2026

Neural dynamics and brain function被引用数 0

ひとこと要約

変分的潜在均衡フレームワークを導入し、生物学的に妥当で局所的な方法で時間に沿ったバックプロパゲーションの近似を行い、エネルギーに基づく定式化から誤差伝搬と学習規則を導出する。

ABSTRACT

Brains remain unrivaled in their ability to recognize and generate complex spatiotemporal patterns. While AI is able to reproduce some of these capabilities, deep learning algorithms remain largely at odds with our current understanding of brain circuitry and dynamics. This is prominently the case for backpropagation through time (BPTT), the go-to algorithm for learning complex temporal dependencies. In this work we propose a general formalism to approximate BPTT in a controlled, biologically plausible manner. Our approach builds on, unifies and extends several previous approaches to local, time-continuous, phase-free spatiotemporal credit assignment based on principles of energy conservation and extremal action. Our starting point is a prospective energy function of neuronal states, from which we calculate real-time error dynamics for time-continuous neuronal networks. In the general case, this provides a simple and straightforward derivation of the adjoint method result for neuronal networks, the time-continuous equivalent to BPTT. With a few modifications, we can turn this into a fully local (in space and time) set of equations for neuron and synapse dynamics. Our theory provides a rigorous framework for spatiotemporal deep learning in the brain, while simultaneously suggesting a blueprint for physical circuits capable of carrying out these computations. These results reframe and extend the recently proposed Generalized Latent Equilibrium (GLE) model.

研究の動機と目的

• 生物学的・物理的制約の下で、 constrained optimization の観点から神経回路の学習を動機付ける。
• 局所・時間連続設定の下で LE と GLE を統合・拡張する第一原理の変分フレームワークを開発する。
• エネルギー汎関数からニューロン・シナプス特異的ダイナミクスと局所可塑性規則を導出する。
• このフレームワークが adjoint 法の結果を回復し、時空間クレジット割り当てへの生物学的に妥当な道を提供することを示す。

提案手法

• ネットワークエネルギー E(t) = 1/2 sum_i e_i^2(t) + beta C(t) を仮定し、局所的エネルギーを最小化してターゲットコスト C に整合させる。
• 局所的ミスマッチ誤差 e_i をニューロン状態とシナプス入力から e_i = u_i^m(bar) - sum_j W_ij phi_j(u^r_j_bar) と定義する。
• 勾配に基づく学習規則 dot{W}_{ij} = e_i r_j および dot{theta}_i ~ -∂E/∂θ_i（局所的可塑性を示す）を導出する。
• オイラー-ラグランジュ方程式が、対象とする系に対して adjoint 法と等価な誤差ダイナミクスをもたらすことを示す。
• 空間的にも時間的にも完全に局所的な脳様回路でこれらのダイナミクスを実装する見通しを論じる。
• フレームワークを Generalized Latent Equilibrium (GLE) および LE や NLA などのニューロン変種と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 時空間タスクのために生物学的に妥当で時間連続な方法で制約付き最適化を解くことはできるか。
• RQ2 第一原理のエネルギー基盤の定式化は、空間・時間の局所性を保ちながら adjoint ベースの学習結果（AM）を再現できるか。
• RQ3 ニューロン回路で時空間クレジット割り当てを実装する明示的な誤差伝播と可塑性規則は何か。
• RQ4 変分的潜在均衡フレームワークはGLE・LEおよび関連モデルとどのように関連し拡張されるか。
• RQ5 生物学的妥当性のためにどんな近似が必要で、どのようにこのフレームワーク内で歪みを補正できるか。

主な発見

• 変分エネルギー・フレームワークは、時空間学習に対する誤差ダイナミクスを adjoint 法と等価に導出する。
• 局所的ニューロンエネルギーに基づく学習規則 dot{W}_{ij} = e_i r_j が得られ、生物学的に妥当な学習を可能にする。
• 導出は AM の結果を回復しつつ、基盤となる原理を単純化・明確化する。
• このフレームワークは LE と GLE を統合・拡張し、完全に局所的で時間連続的な時空間クレジット割り当てへの道を提供する。
• 複雑な時間的挙動を再現する学習など、物理的神経回路の設計指針となる可能性のある応用が示されている。