[论文解读] Latent Equilibrium: A unified learning theory for arbitrarily fast computation with arbitrarily slow neurons

Paul Haider, Benjamin Ellenberger+4 more|arXiv (Cornell University)|Oct 27, 2021

Neural dynamics and brain function被引用 7

一句话总结

本文提出潜伏均衡（Latent Equilibrium, LE），一种生物上合理的学习框架，通过利用前瞻性神经元输出动态，使慢神经元网络能够实现任意快速度的推理和无阶段、连续的学习。该框架在MNIST、HIGGS和CIFAR-10数据集上使用全连接和卷积架构均取得了具有竞争力的性能，即使在极短的刺激呈现时间与缓慢的膜时间常数条件下亦然，其神经元与突触动力学源于解耦的能量函数。

ABSTRACT

The response time of physical computational elements is finite, and neurons are no exception. In hierarchical models of cortical networks each layer thus introduces a response lag. This inherent property of physical dynamical systems results in delayed processing of stimuli and causes a timing mismatch between network output and instructive signals, thus afflicting not only inference, but also learning. We introduce Latent Equilibrium, a new framework for inference and learning in networks of slow components which avoids these issues by harnessing the ability of biological neurons to phase-advance their output with respect to their membrane potential. This principle enables quasi-instantaneous inference independent of network depth and avoids the need for phased plasticity or computationally expensive network relaxation phases. We jointly derive disentangled neuron and synapse dynamics from a prospective energy function that depends on a network's generalized position and momentum. The resulting model can be interpreted as a biologically plausible approximation of error backpropagation in deep cortical networks with continuous-time, leaky neuronal dynamics and continuously active, local plasticity. We demonstrate successful learning of standard benchmark datasets, achieving competitive performance using both fully-connected and convolutional architectures, and show how our principle can be applied to detailed models of cortical microcircuitry. Furthermore, we study the robustness of our model to spatio-temporal substrate imperfections to demonstrate its feasibility for physical realization, be it in vivo or in silico.

研究动机与目标

• 解决分层神经网络中的响应滞后问题，该问题导致推理延迟和学习过程中的时间错配。
• 克服生物上合理反向传播实现中对松弛阶段或分阶段可塑性的依赖。
• 通过引入前瞻性输出机制，实现在神经元任意缓慢的网络中连续、局部且异步的学习。
• 提供一个统一的理论框架，支持在连续时间、漏斗积分神经元动力学中同时实现推理与学习。
• 在具有时空缺陷的详细皮层微电路模型和物理基质中展示其可行性。

提出的方法

• 该框架从依赖广义位置与动量的联合前瞻性能量函数中推导出神经元与突触动力学，实现动态解耦。
• 引入一种“前瞻性”输出机制，使神经元基于当前输入预判其未来状态，从而无需经历松弛过程。
• 神经元动力学被建模为连续时间、漏斗积分器，其膜时间常数可任意缓慢。
• 突触可塑性被实现为持续活跃且局部的，避免了对独立学习阶段的需求。
• 能量函数被设计为解耦神经元与突触动力学，消除学习过程中破坏性的相互依赖。
• 该模型在软件与硬件中均实现，并在时空基质缺陷条件下测试了其鲁棒性。

实验结果

研究问题

• RQ1 学习框架是否能在不依赖松弛阶段或分阶段可塑性的前提下，实现由慢神经元构成的深度网络中的近实时推理？
• RQ2 如何在漏斗积分神经元网络中实现具有连续性、局部性和异步性的生物上合理反向传播？
• RQ3 当刺激呈现时间远短于神经元膜时间常数时，学习性能能维持到何种程度？
• RQ4 所提出的框架是否可应用于详细皮层微电路模型，以实现实时、无阶段的学习？
• RQ5 该框架在神经形态或活体实现中，面对噪声与定时抖动等物理基质限制时，其鲁棒性如何？

主要发现

• 潜伏均衡模型在MNIST上测试误差为1.98±0.11%，在HIGGS上为27.6±0.4%，使用全连接网络，性能与人工神经网络中的标准反向传播相当。
• 采用反馈对齐时，模型在MNIST上达到2.6±0.1%的误差，表明其与不可微权重更新具有兼容性。
• 性能在不同膜时间常数下保持稳定，包括极慢的动力学（如τm = 10 ms），表明对神经元响应速度不敏感。
• 在卷积架构（LeNet-5）上，模型在MNIST上实现1.1±0.1%的误差，在CIFAR-10上为38.0±1.3%，与标准反向传播性能相当。
• 即使在刺激呈现时间短至1 ms（0.05τm）时，模型仍保持高性能，优于经典模型在该条件下的表现。
• 鲁棒性测试确认了其在具有时空缺陷的物理基质中的可行性，支持在仿真与活体中的实现。