[论文解读] Feed-Forward Optimization With Delayed Feedback for Neural Network Training

Katharina Flügel, Daniel Coquelin+4 more|arXiv (Cornell University)|Apr 26, 2023

Neural Networks and Reservoir Computing被引用 6

一句话总结

本文提出F3，一种生物上合理、无需反向传播的深度神经网络训练算法，利用前一周期的延迟误差信号作为样本级缩放因子，以近似梯度。F3将生物合理方法与反向传播之间的性能差距减少了高达96%，实现了无需反向传播、可并行化且低能耗的高效训练。

ABSTRACT

Backpropagation has long been criticized for being biologically implausible due to its reliance on concepts that are not viable in natural learning processes. Two core issues are the weight transport and update locking problems caused by the forward-backward dependencies, which limit biological plausibility, computational efficiency, and parallelization. Although several alternatives have been proposed to increase biological plausibility, they often come at the cost of reduced predictive performance. This paper proposes an alternative approach to training feed-forward neural networks addressing these issues by using approximate gradient information. We introduce Feed-Forward with delayed Feedback (F$^3$), which approximates gradients using fixed random feedback paths and delayed error information from the previous epoch to balance biological plausibility with predictive performance. We evaluate F$^3$ across multiple tasks and architectures, including both fully-connected and Transformer networks. Our results demonstrate that, compared to similarly plausible approaches, F$^3$ significantly improves predictive performance, narrowing the gap to backpropagation by up to 56% for classification and 96% for regression. This work is a step towards more biologically plausible learning algorithms while opening up new avenues for energy-efficient and parallelizable neural network training.

研究动机与目标

• 解决反向传播的生物不现实性，特别是权重传输和更新锁定问题。
• 通过利用延迟误差信息，提升无需反向传播训练方法的预测性能。
• 实现高效、低能耗且可并行化的训练，适用于神经形态和边缘设备。
• 通过消除反向传播和层间同步，降低计算成本和内存需求。
• 在深层网络（最多100层）中展示可扩展性和鲁棒性，此时反向传播无法训练。

提出的方法

• F3用固定、随机的反馈权重（与前向权重无关）直接随机反馈连接替代反向传播。
• 将前一周期的延迟误差信号存储，并在下一周期的前向传播中用作样本级缩放因子。
• 使用这些延迟误差信号近似梯度，实现在前向传播期间的权重更新，而无需等待下游层。
• 通过将梯度计算与实时反向传播解耦，消除更新锁定，实现各层独立更新。
• 反馈路径固定，无需反向传播，降低计算和内存开销。
• 该算法在多种架构和数据集（包括MNIST、CIFAR-10和SGEMM）上应用，并进行了深度和反馈设计的消融研究。

Figure 1 : F 3 (a) solves both the weight transport and the update locking problem. In contrast to prior approaches, it uses delayed error information in the updates, improving the predictive performance. The current error signal $e_{t}$ in epoch $t$ is stored (green) and used in the forward pass (b

实验结果

研究问题

• RQ1 延迟误差反馈能否提升无需反向传播训练算法的预测性能？
• RQ2 F3在多大程度上减少了生物合理方法与标准反向传播之间的性能差距？
• RQ3 在反向传播无法训练的深层网络（如100层）中，F3的性能如何？
• RQ4 F3是否通过消除反向传播和同步，实现了高效、并行或设备端训练？
• RQ5 与DFA、DRTP和FA等先前方法相比，F3在不同任务中的准确性和鲁棒性如何？

主要发现

• 在回归任务中，F3将生物合理训练与反向传播之间的性能差距减少了高达96%。
• 在分类任务中，F3相比先前的无需反向传播方法，将性能差距减少了50%以上。
• F3成功训练了100层网络，性能下降极小，而反向传播在25层以上网络中完全无法训练。
• 与反向传播相比，F3在深度方面表现出更优的鲁棒性，后者在25层以上性能急剧下降。
• 在所有测试的网络深度中，F3在预测性能上均优于DRTP和DFA，尤其在回归和SGEMM等复杂任务中表现更优。
• 尽管所需周期数多于反向传播，F3通过消除反向传播和减少通信开销，实现了设备端和神经形态训练。

(a) Test loss over time.