[论文解读] Equilibrium Propagation with Continual Weight Updates

Maxence Ernoult, Julie Grollier+3 more|arXiv (Cornell University)|Apr 29, 2020

Distributed Control Multi-Agent Systems参考文献 20被引用 17

一句话总结

本文提出了持续均衡传播（C-EP），一种生物上合理的学习算法，使突触权重更新在均衡传播的第二阶段持续进行，确保了空间和时间上的局部性。理论上，当学习率足够小时，C-EP能紧密逼近BPTT梯度；在实践中，其在MNIST分类任务中取得了具有竞争力的准确率，并通过C-VF方法进一步扩展至非对称网络。

ABSTRACT

Equilibrium Propagation (EP) is a learning algorithm that bridges Machine Learning and Neuroscience, by computing gradients closely matching those of Backpropagation Through Time (BPTT), but with a learning rule local in space. Given an input $x$ and associated target $y$, EP proceeds in two phases: in the first phase neurons evolve freely towards a first steady state; in the second phase output neurons are nudged towards $y$ until they reach a second steady state. However, in existing implementations of EP, the learning rule is not local in time: the weight update is performed after the dynamics of the second phase have converged and requires information of the first phase that is no longer available physically. In this work, we propose a version of EP named Continual Equilibrium Propagation (C-EP) where neuron and synapse dynamics occur simultaneously throughout the second phase, so that the weight update becomes local in time. Such a learning rule local both in space and time opens the possibility of an extremely energy efficient hardware implementation of EP. We prove theoretically that, provided the learning rates are sufficiently small, at each time step of the second phase the dynamics of neurons and synapses follow the gradients of the loss given by BPTT (Theorem 1). We demonstrate training with C-EP on MNIST and generalize C-EP to neural networks where neurons are connected by asymmetric connections. We show through experiments that the more the network updates follows the gradients of BPTT, the best it performs in terms of training. These results bring EP a step closer to biology by better complying with hardware constraints while maintaining its intimate link with backpropagation.

研究动机与目标

• 为了解决现有均衡传播（EP）实现中时间非局部性的问题，即权重更新依赖于第一稳态的信息，而该信息在物理上已不再可用。
• 开发一种在空间和时间上均局部的学习规则，以支持能耗极低的硬件实现。
• 将EP推广至具有非对称突触连接的网络，此类网络更具生物学真实性，且在深度学习中更为常见。
• 证明在学习率较小时，第二阶段持续权重更新可保持与BPTT梯度的一致性。
• 在MNIST上通过全连接和深层架构验证该方法，结果表明其性能与标准EP相当。

提出的方法

• 提出持续均衡传播（C-EP），其中突触权重更新在整个第二阶段的动力学过程中持续进行，而非在收敛后进行。
• 引入一种时间更新规则，基于连续时间步之间网络活动的差异，在第二阶段的每个时间步施加小而渐进的权重变化。
• 理论基础：证明当学习率足够小时，C-EP中神经元和突触的动力学遵循由反向传播时间（BPTT）计算出的损失函数梯度，该性质称为梯度下降动力学（GDD）。
• 通过持续向量场（C-VF）方法将C-EP适配至非对称网络，受Scellier等人（2018）的启发，以放松对突触权重对称性的约束。
• 采用一种调试算法（算法5），使用极小学习率以获得精确的梯度近似，并对最终更新进行重缩放以保持训练速度。
• 使用具有李雅普诺夫函数的离散时间RNN动力学，确保两个阶段的收敛性和稳定性。

实验结果

研究问题

• RQ1 能否通过在第二阶段持续更新权重，使均衡传播中的突触权重更新实现时间局部性？
• RQ2 在小学习率下，C-EP中的持续更新规则是否能保持与BPTT计算梯度的一致性？
• RQ3 C-EP能否推广至具有非对称突触连接的神经网络，使其更具生物学真实性？
• RQ4 在MNIST等标准基准上，C-EP的训练准确率和收敛速度与标准EP相比如何？
• RQ5 学习率大小对C-EP准确率的影响是什么？能否通过重缩放小更新恢复性能？

主要发现

• 在两隐藏层全连接网络上，C-EP在MNIST上的测试误差为$1.89 \pm 0.22\%$，与标准EP性能相当。
• 使用单隐藏层网络时，C-EP在调试程序（算法5）下达到$2.06 \pm 0.13\%$的测试误差，证实其在学习率足够小时能有效近似BPTT梯度。
• 标准C-EP训练中观察到的性能下降归因于学习率过大；采用极小学习率并进行重缩放后，可恢复接近最优的性能。
• C-VF方法使非对称连接网络的训练成为可能，在单隐藏层MNIST上达到$4.59 \pm 0.92\%$的测试误差，在双隐藏层上达到$5.05 \pm 1.17\%$。
• 训练曲线显示，C-EP和C-VF在100个周期内稳定收敛，五次试验中方差较低，表明其具有鲁棒性。
• 理论分析证实，C-EP表现出梯度下降动力学（GDD）特性，即在小学习率下，系统动力学遵循BPTT梯度。