[论文解读] Backpropagation at the Infinitesimal Inference Limit of Energy-Based Models: Unifying Predictive Coding, Equilibrium Propagation, and Contrastive Hebbian Learning

Beren Millidge, Yuhang Song+3 more|arXiv (Cornell University)|May 31, 2022

Advanced Memory and Neural Computing被引用 6

一句话总结

本文将预测编码、平衡传播和对比性赫布学习统一为能量模型（EBM）中的一般原理的特例：在无穷小推理极限下，自由相与钳位相平衡状态之间的差异近似于反向传播梯度。关键贡献在于提出一个理论框架，表明这种梯度近似源于EBM的普遍数学性质，从而可推导出新型生物可实现的学习算法。

ABSTRACT

How the brain performs credit assignment is a fundamental unsolved problem in neuroscience. Many `biologically plausible' algorithms have been proposed, which compute gradients that approximate those computed by backpropagation (BP), and which operate in ways that more closely satisfy the constraints imposed by neural circuitry. Many such algorithms utilize the framework of energy-based models (EBMs), in which all free variables in the model are optimized to minimize a global energy function. However, in the literature, these algorithms exist in isolation and no unified theory exists linking them together. Here, we provide a comprehensive theory of the conditions under which EBMs can approximate BP, which lets us unify many of the BP approximation results in the literature (namely, predictive coding, equilibrium propagation, and contrastive Hebbian learning) and demonstrate that their approximation to BP arises from a simple and general mathematical property of EBMs at free-phase equilibrium. This property can then be exploited in different ways with different energy functions, and these specific choices yield a family of BP-approximating algorithms, which both includes the known results in the literature and can be used to derive new ones.

研究动机与目标

• 将分散的生物可实现学习算法——预测编码、平衡传播和对比性赫布学习——统一于单一理论框架之下。
• 识别能量模型中使这些算法能够近似反向传播的根本数学性质。
• 证明该梯度近似源于无穷小推理极限下神经动力学在平衡状态时的方向。
• 将该框架推广，以推导出超越现有文献的新BP近似学习算法。

提出的方法

• 形式化具有分解能量函数的能量模型（EBM）：一个分量用于监督损失，另一个分量用于网络内部动力学。
• 分析EBM在自由相（无约束）和钳位相（目标约束）条件下的平衡状态。
• 在钳位相平衡点附近进行泰勒展开，推导出无穷小推理极限，此时自由相与钳位相平衡点之间的距离近似于BP梯度。
• 将三种已知算法作为特例推导出：(1) 通过弱反馈实现的PC-Nudge，(2) 通过损失缩放实现的EP，以及(3) 通过对比损失实现的CHL。
• 证明梯度近似误差与自由相和钳位相平衡点之间距离呈线性关系。
• 提出一个通用算法框架，通过选择不同的能量函数，可构造新的BP近似学习规则。

实验结果

研究问题

• RQ1 预测编码、平衡传播和对比性赫布学习在能量模型中能够近似反向传播的共同数学原理是什么？
• RQ2 在钳位相平衡点趋近于自由相平衡点的无穷小推理极限下，EBM如何实现梯度近似？
• RQ3 神经动力学在平衡状态与监督损失梯度之间的关系能否超越现有算法进行泛化？
• RQ4 在何种条件下，自由相与钳位相平衡点之间的差异可近似为真实BP梯度？
• RQ5 如何系统地从EBM框架中推导出新的生物可实现学习算法？

主要发现

• 能量模型在自由相平衡点处的神经动力学方向，恰好与监督损失函数的梯度一致，从而提供了内在的梯度信号。
• 在无穷小推理极限下，从自由相到钳位相平衡点的向量近似于BP梯度，且近似误差与两平衡点间距离呈线性关系。
• 通过弱反馈实现的预测编码、平衡传播以及对比性赫布学习，均为该通用框架的特例，仅在能量函数结构上有所不同。
• 基于该框架推导出的PC-Nudge算法，在模型初始化时仅利用EBM的内在动力学即可实现精确反向传播。
• 该框架可通过选择保持梯度近似性质的新能量函数，推导出新型学习算法。
• 理论分析依赖于在钳位相平衡点附近的泰勒展开，未来工作可借助更先进的近似技术改进误差界。