[论文解读] A Variational Latent Equilibrium for Learning in Neuronal Circuits

Simon D. Brandt, Paul Haider+3 more|arXiv (Cornell University)|Mar 10, 2026

Neural dynamics and brain function被引用 0

一句话总结

引入一个变分潜在平衡框架，以生物学上可信、局部方式近似时间反向传播（BPTT），并从基于能量的公式推导误差传播和学习规则。

ABSTRACT

Brains remain unrivaled in their ability to recognize and generate complex spatiotemporal patterns. While AI is able to reproduce some of these capabilities, deep learning algorithms remain largely at odds with our current understanding of brain circuitry and dynamics. This is prominently the case for backpropagation through time (BPTT), the go-to algorithm for learning complex temporal dependencies. In this work we propose a general formalism to approximate BPTT in a controlled, biologically plausible manner. Our approach builds on, unifies and extends several previous approaches to local, time-continuous, phase-free spatiotemporal credit assignment based on principles of energy conservation and extremal action. Our starting point is a prospective energy function of neuronal states, from which we calculate real-time error dynamics for time-continuous neuronal networks. In the general case, this provides a simple and straightforward derivation of the adjoint method result for neuronal networks, the time-continuous equivalent to BPTT. With a few modifications, we can turn this into a fully local (in space and time) set of equations for neuron and synapse dynamics. Our theory provides a rigorous framework for spatiotemporal deep learning in the brain, while simultaneously suggesting a blueprint for physical circuits capable of carrying out these computations. These results reframe and extend the recently proposed Generalized Latent Equilibrium (GLE) model.

研究动机与目标

• 通过受生物学与物理约束的约束优化视角，推动神经回路中的学习。
• 在局部、时间连续的设定下，开发一个从原理出发的变分框架，统一并扩展 LE 与 GLE。
• 从能量泛函导出神经元和突触层面的动力学及局部可塑性规则。
• 展示该框架如何恢复伴随方法（adjoint method）的结果，并提供一个生物学上可信的时空 credit 分配路径。

提出的方法

• 假设网络能量 E(t) = 1/2 sum_i e_i^2(t) + beta C(t) 并最小化积分能量以与目标成本 C 对齐。
• 将局部错配误差 e_i 从神经元状态和突触输入定义为 e_i = u_i^m(bar) - sum_j W_ij phi_j(u^r_j_bar)。
• 推导基于梯度的学习规则 dot{W}_{ij} = e_i r_j 且 dot{theta}_i ~ -∂E/∂θ_i，指示局部可塑性。
• 证明欧拉-拉格朗日方程给出与所考虑系统的伴随方法等价的误差动力学。
• 讨论在完全局部（时空局部）脑样电路中实现这些动力学的前景。
• 将该框架与 Generalized Latent Equilibrium (GLE) 及神经元变体如 LE 与 NLA 联系起来。

实验结果

研究问题

• RQ1 如何以生物学上可信、时间连续的方式解决用于时空任务的受约束优化？
• RQ2 在保持时空局部性的前提下，是否能够用原理出发的基于能量的公式再现伴随学习结果（AM）？
• RQ3 在神经回路中实现时空信用分配的显式误差传播和可塑性规则是什么？
• RQ4 变分潜在平衡框架如何与 GLE、LE 及相关模型相关并扩展？
• RQ5 为了生物学可行性需要哪些近似，以及如何在该框架内纠正扭曲？

主要发现

• 一个变分能量框架给出与伴随方法等价的时空学习的误差动力学。
• 来自局部神经元能量的局部可塑性规则 dot{W}_{ij} = e_i r_j 支持生物学上可信的学习。
• 推导在简化并澄清基础原理的同时恢复 AM 结果。
• 该框架统一并扩展 LE 与 GLE，为完全局部、时间连续的时空信用分配提供路径。
• 在学习再现复杂时间行为方面的潜在应用已展示，并为物理神经回路提供蓝图。