[论文解读] Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain

Beren Millidge, Alexander Tschantz+2 more|arXiv (Cornell University)|Sep 11, 2020

Neural dynamics and brain function参考文献 67被引用 11

一句话总结

本文提出激活松弛（Activation Relaxation, AR），一种生物可解释的反向传播近似方法，仅通过局部突触信号和单一反向松弛阶段即可计算精确的误差梯度。通过将反向传播建模为动力系统的平衡点，AR 能够快速且稳健地收敛至正确梯度，支持任意计算图结构，并消除了诸如权重传输和非线性导数等关键不切实际之处，从而在保持神经生物学可解释性的同时，实现与标准反向传播相当的性能。

ABSTRACT

The backpropagation of error algorithm (backprop) has been instrumental in the recent success of deep learning. However, a key question remains as to whether backprop can be formulated in a manner suitable for implementation in neural circuitry. The primary challenge is to ensure that any candidate formulation uses only local information, rather than relying on global signals as in standard backprop. Recently several algorithms for approximating backprop using only local signals have been proposed. However, these algorithms typically impose other requirements which challenge biological plausibility: for example, requiring complex and precise connectivity schemes, or multiple sequential backwards phases with information being stored across phases. Here, we propose a novel algorithm, Activation Relaxation (AR), which is motivated by constructing the backpropagation gradient as the equilibrium point of a dynamical system. Our algorithm converges rapidly and robustly to the correct backpropagation gradients, requires only a single type of computational unit, utilises only a single parallel backwards relaxation phase, and can operate on arbitrary computation graphs. We illustrate these properties by training deep neural networks on visual classification tasks, and describe simplifications to the algorithm which remove further obstacles to neurobiological implementation (for example, the weight-transport problem, and the use of nonlinear derivatives), while preserving performance.

研究动机与目标

• 为解决标准反向传播的生物不切实际性，其依赖于非局部的全局误差信号和精确的权重传输。
• 开发一种仅使用局部突触信息（如突触前/后活动和局部导数）的学习算法，无需多次反向传播或复杂的连接结构。
• 消除神经生物学实现中的关键障碍，包括权重传输问题和梯度计算中对非线性导数的需求。
• 证明可通过单一、连续的动力学松弛过程，实现精确的反向传播梯度。
• 将算法简化为单一神经元类型和单一反向阶段，提升其在皮层微环路中实现的可行性。

提出的方法

• 该算法将反向传播梯度表述为连续时间动力系统的平衡点，其中激活值通过最小化局部误差函数而演化。
• 它使用单一反向松弛阶段，基于当前活动与通过反向权重映射的目标之间的差异，迭代调整神经元激活值。
• 更新规则源自预测误差机制，其中每个神经元根据其当前状态与上层预测状态之间的差异来校正其活动。
• 该方法通过将梯度计算嵌入系统动力学中，避免显式梯度计算，仅依赖局部突触和活动信息。
• AR 的简化版本消除了对对称或共享权重的需求，避免了非线性导数，仅使用线性变换和局部反馈。
• 该算法被应用于视觉分类任务中的深度神经网络，表现出在极低架构开销下收敛至精确反向传播梯度。

实验结果

研究问题

• RQ1 是否可以仅使用局部突触信号计算反向传播梯度，而无需全局误差信号或权重传输？
• RQ2 是否可以使用单一、连续的动力学松弛阶段替代生物可解释学习算法中的多次反向传播？
• RQ3 是否可能在保持性能的前提下，消除局部反向传播近似中对非线性导数和权重对称性的需求？
• RQ4 是否可以设计神经网络的动力学，使其平衡点恰好对应于反向传播梯度？
• RQ5 如何重新利用激活单元同时用于前向推理和梯度计算，同时保持生物合理性？

主要发现

• 激活松弛能快速且稳健地收敛至标准反向传播计算出的精确梯度，即使在深层网络中亦然。
• 该算法仅需单一反向松弛阶段和一种计算单元，与先前的局部近似相比，显著降低了复杂度。
• AR 的简化版本消除了对权重对称性和非线性导数的需求，同时在视觉分类任务上保持了与标准反向传播相当的性能。
• 该方法在不显式计算梯度的情况下实现精确梯度，而是通过基于活动差异的局部更新规则嵌入梯度动力学。
• 该方法兼容任意计算图结构，无需特殊连接模式或多个顺序阶段。
• 该方法通过重用同一组神经元同时表示激活和梯度，提供了有力的神经生物学解释，暗示了皮层回路中多路复用计算的潜在机制。