[论文解读] Forward Learning with Top-Down Feedback: Empirical and Analytical Characterization

Ravi Francesco Srinivasan, Francesca Mignacco+5 more|arXiv (Cornell University)|Feb 10, 2023

Neural Networks and Applications被引用 7

一句话总结

本文证明了 PEPITA（一种仅前向传播的学习算法）在理论上等价于一种使用自顶向下反馈的前向-前向框架，并可被自适应反馈对齐规则近似。该研究引入了权重镜像机制以改善权重对齐、准确率与收敛性，使 CIFAR-10 的准确率提升至 53.8%，并在 CIFAR-100 上使与反向传播的差距缩小了 2% 以上。

ABSTRACT

"Forward-only" algorithms, which train neural networks while avoiding a backward pass, have recently gained attention as a way of solving the biologically unrealistic aspects of backpropagation. Here, we first address compelling challenges related to the "forward-only" rules, which include reducing the performance gap with backpropagation and providing an analytical understanding of their dynamics. To this end, we show that the forward-only algorithm with top-down feedback is well-approximated by an "adaptive-feedback-alignment" algorithm, and we analytically track its performance during learning in a prototype high-dimensional setting. Then, we compare different versions of forward-only algorithms, focusing on the Forward-Forward and PEPITA frameworks, and we show that they share the same learning principles. Overall, our work unveils the connections between three key neuro-inspired learning rules, providing a link between "forward-only" algorithms, i.e., Forward-Forward and PEPITA, and an approximation of backpropagation, i.e., Feedback Alignment.

研究动机与目标

• 为解决如 PEPITA 和前向-前向算法等仅前向传播学习算法中缺乏理论理解的问题。
• 通过改善权重对齐与收敛性，缩小仅前向传播方法与反向传播之间的性能差距。
• 通过确保学习规则在空间和时间上均具有局部性，提升其生物学合理性。
• 开发并评估权重镜像作为一种提升仅前向传播框架训练动态的策略。

提出的方法

• 将 PEPITA 形式化为赫布项与反赫布项之和，以建立空间与时间上的局部性。
• 通过理论分析，证明 PEPITA 与使用自顶向下反馈的前向-前向框架在数学上等价。
• 将 PEPITA 的更新规则近似为一种自适应反馈对齐机制，其中反馈受前向权重矩阵调制。
• 引入预镜像（在训练前应用的权重镜像）以初始化对齐的权重，加速收敛。
• 结合权重镜像与激活归一化，以稳定训练并提升准确率。
• 在 CIFAR-10 和 CIFAR-100 上通过测试准确率与学习曲线的平台拟合（plateau fitting）来评估收敛速度，进行性能基准测试。

实验结果

研究问题

• RQ1 在架构与学习动态方面，PEPITA 与前向-前向算法有何关联？
• RQ2 PEPITA 的更新规则能否被一种具有自适应反馈的反馈对齐机制在理论上近似？
• RQ3 权重镜像是否能改善仅前向传播学习中的权重对齐、准确率与收敛速率？
• RQ4 预镜像在多大程度上通过初始化对齐权重来加速学习？
• RQ5 权重镜像与激活归一化结合后，对标准视觉基准测试的性能有何影响？

主要发现

• PEPITA 在数学上等价于一种使用自顶向下反馈生成负相输入的前向-前向框架。
• PEPITA 的更新规则可被一种自适应反馈对齐算法近似，其中反馈受前向权重矩阵调制。
• 权重镜像显著改善了前向与反馈权重矩阵之间的对齐性，尤其在浅层网络中效果明显。
• 在 CIFAR-10 上，结合权重镜像与激活归一化的 PEPITA 达到 53.8% 的测试准确率，较标准 PEPITA 提升 1.3%。
• 在 CIFAR-100 上，权重镜像使准确率提升超过 2%，显著缩小了与反向传播的差距。
• 预镜像降低了学习曲线的缓慢参数，表明收敛速度加快，尤其在一隐藏层网络中表现显著。