[论文解读] Generalization of Equilibrium Propagation to Vector Field Dynamics

Benjamin Scellier, Anirudh Goyal+3 more|arXiv (Cornell University)|Aug 14, 2018

Neural dynamics and brain function参考文献 15被引用 19

一句话总结

该论文将平衡传播推广至固定点递归网络中的向量场动力学，无需能量函数或对称权重，实现了基于局部、梯度学习的生物可解释反向传播。该方法的梯度近似精度与权重对称性相关，实验表明其在MNIST上成功优化目标函数，测试误差为2–3%。

ABSTRACT

The biological plausibility of the backpropagation algorithm has long been doubted by neuroscientists. Two major reasons are that neurons would need to send two different types of signal in the forward and backward phases, and that pairs of neurons would need to communicate through symmetric bidirectional connections. We present a simple two-phase learning procedure for fixed point recurrent networks that addresses both these issues. In our model, neurons perform leaky integration and synaptic weights are updated through a local mechanism. Our learning method generalizes Equilibrium Propagation to vector field dynamics, relaxing the requirement of an energy function. As a consequence of this generalization, the algorithm does not compute the true gradient of the objective function, but rather approximates it at a precision which is proven to be directly related to the degree of symmetry of the feedforward and feedback weights. We show experimentally that our algorithm optimizes the objective function.

研究动机与目标

• 解决反向传播的生物不可行性，特别是其对独立前向与反向信号路径及对称突触连接的需求。
• 开发一种双阶段学习规则：第一阶段为推理（无权重更新），第二阶段为误差信号传播（采用局部、无需对称权重的更新）。
• 将平衡传播从基于能量的模型推广至任意向量场动力学，放宽对梯度动力学或对称权重的要求。
• 通过在MNIST上的实证评估，证明所提方法能通过目标函数优化实现学习。
• 理论上和实证上研究权重对称性与学习规则中梯度近似精度之间的关系。

提出的方法

• 使用连续时间、基于发放率的漏斗积分器方程建模神经元动力学：$ \frac{ds_i}{dt} = \sum_j W_{ij} \rho(s_j) - s_i $，其中 $ \rho $ 为非线性激活函数。
• 实施双阶段学习过程：第一阶段，网络在输入下计算固定点状态；第二阶段，引入目标值，并根据状态偏差更新权重。
• 采用局部、类似Hebbian的可塑性规则：$ dW_{ij} \propto \rho(s_j) \cdot ds_i $，其中 $ ds_i $ 为第二阶段突触后活动的变化量。
• 通过引入扰动参数 $ \beta $，将学习规则推广至向量场动力学，使系统能够通过状态对小扰动的响应来追踪损失函数的梯度。
• 推导出更新规则为 $ \Delta W_{ij} \propto \left. \frac{\partial^2 S^\beta}{\partial t \partial \beta} \right|_{\beta=0}^T \cdot \frac{\partial \mu_\theta}{\partial W_{ij}} $，近似真实梯度。
• 使用带截断的稳定欧拉法实现动力学：$ s \leftarrow \text{clip}(s - \epsilon \mu_\theta^\beta, 0, 1) $，确保数值稳定性。

实验结果

研究问题

• RQ1 能否在不依赖底层能量函数的前提下，将平衡传播推广至向量场动力学？
• RQ2 基于局部、非对称权重的学习规则是否能近似损失函数的真实梯度？其精度如何受权重对称性的影响？
• RQ3 该方法能否在无需反向传播或对称连接的情况下，成功训练固定点递归网络完成监督学习任务（如MNIST）？
• RQ4 梯度近似误差与前馈与反馈权重对称程度之间的关系如何？
• RQ5 该方法在标准基准测试中的训练误差与泛化误差表现如何？

主要发现

• 所提算法在MNIST上成功优化了目标函数，2层和3层全连接网络的训练误差均为0.00%。
• MNIST上的泛化误差在2%至3%之间，具体取决于网络深度，表明无需反向传播即可实现有效学习。
• 该方法实现的梯度近似精度与前馈与反馈权重的对称性成正比，与理论预测一致。
• 该算法将平衡传播推广至基于能量的模型之外，使任意向量场动力学中的学习成为可能，无需梯度动力学或对称连接。
• 对卷积神经网络变体的实验实现了约2%的泛化误差，证实了其在深层架构中的可扩展性。
• 学习规则通过在第二阶段末尾执行一次权重更新实现，基于扰动与未扰动状态之间的差异，避免了连续权重更新。