[论文解读] Error Forward-Propagation: Reusing Feedforward Connections to Propagate Errors in Deep Learning

Adam A. Kohan, Edward A. Rietman+1 more|arXiv (Cornell University)|Aug 9, 2018

Advanced Memory and Neural Computing参考文献 1被引用 11

一句话总结

本文提出了一种生物上合理的误差前向传播方法，通过将输出激活反馈至输入层，重用前向连接来实现误差信号在深层网络中的反向传播。该方法仅通过一次反向循环，就在MNIST和Fashion-MNIST上分别实现了1.90%和11%的测试误差，无需对称或随机的反馈权重，显著降低了误差反馈的架构约束。

ABSTRACT

We introduce Error Forward-Propagation, a biologically plausible mechanism to propagate error feedback forward through the network. Architectural constraints on connectivity are virtually eliminated for error feedback in the brain; systematic backward connectivity is not used or needed to deliver error feedback. Feedback as a means of assigning credit to neurons earlier in the forward pathway for their contribution to the final output is thought to be used in learning in the brain. How the brain solves the credit assignment problem is unclear. In machine learning, error backpropagation is a highly successful mechanism for credit assignment in deep multilayered networks. Backpropagation requires symmetric reciprocal connectivity for every neuron. From a biological perspective, there is no evidence of such an architectural constraint, which makes backpropagation implausible for learning in the brain. This architectural constraint is reduced with the use of random feedback weights. Models using random feedback weights require backward connectivity patterns for every neuron, but avoid symmetric weights and reciprocal connections. In this paper, we practically remove this architectural constraint, requiring only a backward loop connection for effective error feedback. We propose reusing the forward connections to deliver the error feedback by feeding the outputs into the input receiving layer. This mechanism, Error Forward-Propagation, is a plausible basis for how error feedback occurs deep in the brain independent of and yet in support of the functionality underlying intricate network architectures. We show experimentally that recurrent neural networks with two and three hidden layers can be trained using Error Forward-Propagation on the MNIST and Fashion MNIST datasets, achieving $1.90\%$ and $11\%$ generalization errors respectively.

研究动机与目标

• 为解决标准反向传播的生物学不可行性问题，该方法要求对称、互惠且系统性的反馈连接，而这些连接在新皮层中并未被观察到。
• 通过消除对专用反馈路径的需求，减少深层网络中误差反馈的架构约束。
• 提出一种机制——误差前向传播，通过重用现有前向连接来传递有效的误差信号。
• 证明该方法可实现深层网络的有效训练，且反馈布线极少，支持生物神经网络中信用分配的可行性。

提出的方法

• 通过将输出层的激活反馈至输入层的神经元，重用前向权重矩阵作为反馈路径。
• 采用从输出层到输入层的单一反向循环连接，避免对每个神经元都设置反馈连接。
• 依赖于反馈回路中权重矩阵的动力学对齐，使得前向权重的乘积近似于反馈信号。
• 使用基于目标输出与实际输出差异的反馈信号，并通过前向传播中使用的相同权重向前传播该信号。
• 应用一种基于误差信号和接收输入层活动的局部学习规则来调整权重。
• 证明网络的权重矩阵随时间动态对齐，从而在无需显式反馈权重的情况下模拟反馈对齐的效果。

实验结果

研究问题

• RQ1 能否在无专用反馈连接或对称权重的情况下，有效将误差信号反向传播至深层网络？
• RQ2 是否可以重用前向权重来传递功能性的误差反馈，以实现有效学习？
• RQ3 缺乏系统性反向连接如何影响深层网络的学习性能与收敛性？
• RQ4 单一反向循环连接是否足以实现在多个隐藏层之间的信用分配？
• RQ5 重用前向连接进行误差反馈是否能产生与反向传播或随机反馈对齐相当的结果？

主要发现

• 误差前向传播在使用两隐藏层网络时，于MNIST数据集上实现了1.90%的泛化误差。
• 该方法在Fashion-MNIST数据集上达到11%的泛化误差，表明其在不同任务上的鲁棒性。
• 该机制仅通过单一反向循环连接即可实现有效的误差反馈，显著降低了架构约束。
• 网络中的权重矩阵随时间动态对齐，从而在无需显式反馈权重的情况下形成有效的反馈信号。
• 尽管消除了对称或互惠连接的需求，该方法仍保持与反向传播和随机反馈对齐相当的性能。
• 该方法支持局部、时变的学习，且与生物可实现机制（如平衡传播和对比性赫布学习）兼容。