[论文解读] GAIT-prop: A biologically plausible learning rule derived from backpropagation of error

Nasir Ahmad, Marcel van Gerven+1 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Memory and Neural Computing参考文献 27被引用 11

一句话总结

本文提出 GAIT-prop，一种从反向传播衍生而来的生物可实现学习规则，通过引入增量目标，在线性与非线性网络中均实现了与标准反向传播无法区分的性能。通过在前向激活中引入微小扰动，GAIT-prop 在正交权重矩阵下实现了与反向传播的精确等价性，从而在无需非局部信息传输的情况下，实现了稳定、局部且基于梯度的学习。

ABSTRACT

Traditional backpropagation of error, though a highly successful algorithm for learning in artificial neural network models, includes features which are biologically implausible for learning in real neural circuits. An alternative called target propagation proposes to solve this implausibility by using a top-down model of neural activity to convert an error at the output of a neural network into layer-wise and plausible 'targets' for every unit. These targets can then be used to produce weight updates for network training. However, thus far, target propagation has been heuristically proposed without demonstrable equivalence to backpropagation. Here, we derive an exact correspondence between backpropagation and a modified form of target propagation (GAIT-prop) where the target is a small perturbation of the forward pass. Specifically, backpropagation and GAIT-prop give identical updates when synaptic weight matrices are orthogonal. In a series of simple computer vision experiments, we show near-identical performance between backpropagation and GAIT-prop with a soft orthogonality-inducing regularizer.

研究动机与目标

• 为解决反向传播的生物不可行性问题，后者依赖于非局部误差信号与精确的权重传输。
• 开发一种学习规则，保持与反向传播的等价性，同时仅使用局部、逐层的误差信号。
• 证明通过引入增量目标，目标传播可实现与反向传播的等价性。
• 展示 GAIT-prop 在具有可变层宽的线性与非线性网络中，性能接近反向传播。

提出的方法

• 通过可逆深度线性网络，建立反向传播与目标传播之间的理论联系。
• 引入增量目标（γl）作为前向传递激活的小扰动，以线性化误差计算。
• 证明当突触权重矩阵为正交时，GAIT-prop 产生的权重更新与反向传播完全相同。
• 实施一种软正交性诱导正则化项，以在非线性网络中保持接近正交的权重矩阵。
• 使用辅助神经元实现逐层目标，支持具有可变隐藏层宽度网络的稳定训练。
• 在计算机视觉任务中通过 MNIST 与 CIFAR-10 数据集验证性能，涵盖固定与减少的隐藏层宽度。

实验结果

研究问题

• RQ1 在特定条件下，目标传播能否在深度线性网络中实现与反向传播的等价性？
• RQ2 在非线性网络中引入增量目标是否能恢复目标传播与反向传播之间的等价性？
• RQ3 GAIT-prop 在不同网络架构与数据集下，与反向传播及标准目标传播相比，性能如何？
• RQ4 GAIT-prop 是否能在无需完美逆模型或理想化网络结构的情况下维持高性能？
• RQ5 权重矩阵正交性在实现 GAIT-prop 与反向传播等价性方面发挥何种作用？

主要发现

• GAIT-prop 在线性与非线性网络中均实现了与反向传播无法区分的性能，包括在 MNIST 与 CIFAR-10 数据集上的表现。
• 在深度线性网络中，当权重矩阵为正交时，GAIT-prop 产生的权重更新与反向传播完全一致。
• 标准目标传播在线性网络中表现优异，但在非线性设置中，尤其是具有可变隐藏层宽度时，泛化能力较差。
• 使用软正交性诱导正则化项，使 GAIT-prop 在多种训练参数与网络架构下均保持稳定且高性能。
• 即使网络深度与宽度发生变化，性能依然稳健，表明该方法具备可扩展性，并对架构变化具有鲁棒性。
• 引入逐层辅助神经元，使在因非可逆、减宽层导致信息损失的网络中仍能实现有效训练。