[论文解读] Equilibrium Propagation: Bridging the Gap Between Energy-Based Models and Backpropagation

Benjamin Scellier, Yoshua Bengio|arXiv (Cornell University)|Feb 16, 2016

Advanced Memory and Neural Computing参考文献 30被引用 15

一句话总结

该论文提出了一种用于能量模型的生物可实现的学习框架——平衡传播（Equilibrium Propagation），该框架在推理和误差反向传播两个阶段均使用单一类型的神经计算来计算梯度。通过在第二阶段将输出单元轻微扰动至目标值，该方法通过递归动力学隐式地反向传播误差导数，从而在无需独立反向传播电路或对称权重假设的情况下，实现对明确定义目标函数的梯度下降。

ABSTRACT

We introduce Equilibrium Propagation, a learning framework for energy-based models. It involves only one kind of neural computation, performed in both the first phase (when the prediction is made) and the second phase of training (after the target or prediction error is revealed). Although this algorithm computes the gradient of an objective function just like Backpropagation, it does not need a special computation or circuit for the second phase, where errors are implicitly propagated. Equilibrium Propagation shares similarities with Contrastive Hebbian Learning and Contrastive Divergence while solving the theoretical issues of both algorithms: our algorithm computes the gradient of a well defined objective function. Because the objective function is defined in terms of local perturbations, the second phase of Equilibrium Propagation corresponds to only nudging the prediction (fixed point, or stationary distribution) towards a configuration that reduces prediction error. In the case of a recurrent multi-layer supervised network, the output units are slightly nudged towards their target in the second phase, and the perturbation introduced at the output layer propagates backward in the hidden layers. We show that the signal 'back-propagated' during this second phase corresponds to the propagation of error derivatives and encodes the gradient of the objective function, when the synaptic update corresponds to a standard form of spike-timing dependent plasticity. This work makes it more plausible that a mechanism similar to Backpropagation could be implemented by brains, since leaky integrator neural computation performs both inference and error back-propagation in our model. The only local difference between the two phases is whether synaptic changes are allowed or not.

研究动机与目标

• 开发一种生物可实现的反向传播替代方法，避免对独立误差传播电路的需求。
• 解决对比学习方法（如对比赫布学习和对比发散）中的理论问题。
• 证明误差导数可通过仅使用局部扰动，隐式地通过递归动力学反向传播。
• 通过脉冲时序可塑性规则，建立平衡动力学与梯度下降之间的联系。
• 展示该框架在MNIST数据集上训练深度递归网络的可行性。

提出的方法

• 在推理和误差传播两个阶段均使用一个具有漏电积分器动力学的单一递归神经网络。
• 执行两个阶段：第一阶段，网络在输入钳制下弛豫至不动点（推理）；第二阶段，输出单元被轻微扰动至目标值（训练）。
• 第二阶段的动力学通过突触权重更新，隐式地将误差导数反向传播通过隐藏层。
• 突触更新遵循一种对比赫布规则，该规则增加第一阶段不动点的能量，同时降低第二阶段不动点的能量。
• 利用Bengio等人（2017）的研究结果，表明第二阶段早期神经活动的变化对应于误差导数。
• 采用从平方误差目标函数梯度推导出的学习规则，权重更新基于突触后活动的时间导数。

实验结果

研究问题

• RQ1 单一神经计算机制是否能以生物可实现的方式同时执行推理和误差反向传播？
• RQ2 通过小扰动实现的隐式误差反向传播是否能为训练能量模型提供正确的梯度？
• RQ3 第二阶段的动力学与递归网络中损失函数的真实梯度之间有何关系？
• RQ4 平衡传播能否在真实任务（如MNIST）上训练深度多层递归网络？
• RQ5 在所提出的动力学下，突触更新规则是否等价于某种形式的脉冲时序可塑性（STDP）？

主要发现

• 平衡传播在无需独立反向传播电路的情况下，计算了明确定义目标函数（平方误差）的梯度。
• 第二阶段的动力学隐式地将误差导数反向传播通过隐藏层，其结果与损失函数的真实梯度一致。
• 突触更新规则对应于一种形式的脉冲时序可塑性，使其具有生物可实现性。
• 使用该框架，具有1、2和3个隐藏层的多层递归网络在排列不变MNIST任务上成功完成训练。
• 该方法避免了先前对比学习算法的理论缺陷，如CD-1中的循环问题或对比赫布学习中的模式崩溃。
• 通过调整超参数（包括弛豫迭代次数20–500、扰动强度ε=0.5和学习率αk），实现了在MNIST上的收敛。