[论文解读] Extending the Forward Forward Algorithm

Saumya Gandhi, Ritu Gala+2 more|arXiv (Cornell University)|Jul 9, 2023

Advanced Neural Network Applications被引用 5

一句话总结

该论文将Geoffrey Hinton提出的Forward Forward（FF）算法从计算机视觉领域拓展至自然语言处理（NLP），应用于IMDb情感分析数据集，建立了FF在NLP领域的首个基线。论文提出一种新颖的金字塔形阈值优化策略，将测试误差降低高达8%，并揭示FF网络学习到的权重幅度比反向传播训练的网络大10–20倍，暗示其具有截然不同的学习动态。

ABSTRACT

The Forward Forward algorithm, proposed by Geoffrey Hinton in November 2022, is a novel method for training neural networks as an alternative to backpropagation. In this project, we replicate Hinton's experiments on the MNIST dataset, and subsequently extend the scope of the method with two significant contributions. First, we establish a baseline performance for the Forward Forward network on the IMDb movie reviews dataset. As far as we know, our results on this sentiment analysis task marks the first instance of the algorithm's extension beyond computer vision. Second, we introduce a novel pyramidal optimization strategy for the loss threshold - a hyperparameter specific to the Forward Forward method. Our pyramidal approach shows that a good thresholding strategy causes a difference of up to 8% in test error. Lastly, we perform visualizations of the trained parameters and derived several significant insights, such as a notably larger (10-20x) mean and variance in the weights acquired by the Forward Forward network. Repository: https://github.com/Ads-cmu/ForwardForward

研究动机与目标

• 评估Forward Forward算法在非计算机视觉任务中的表现，特别是使用IMDb数据集进行情感分析，以检验其在计算机视觉之外的泛化能力。
• 在IMDb电影评论数据集上建立Forward Forward算法的首个基线性能。
• 研究损失阈值超参数对网络性能的影响，并提出一种改进的优化策略。
• 分析Forward Forward网络中学习到的权重分布，并与反向传播训练的模型进行比较。
• 探索不同激活函数对Forward Forward训练过程的影响。

提出的方法

• 复现Hinton原始MNIST实验以验证Forward Forward算法的基线性能。
• 在IMDb数据集上应用Forward Forward算法，采用带有ReLU激活函数且无权重衰减的前馈神经网络。
• 提出一种金字塔形阈值优化策略，即损失阈值随网络层从浅到深单调递增，以提升泛化性能。
• 实现一种阈值调度器，从较低阈值开始，并在训练过程中逐步提高，以自适应调整学习动态。
• 对多种激活函数（ReLU、tanh、sigmoid）进行消融实验，评估其与Forward Forward目标的兼容性。
• 通过详细的权重矩阵可视化与统计分析，比较FF网络与反向传播训练网络在权重幅度与分布上的差异。

(a) Positive data samples

实验结果

研究问题

• RQ1 Forward Forward算法能否在非CV的NLP任务（如IMDb数据集上的情感分类）中取得具有竞争力的性能？
• RQ2 损失阈值超参数的选择如何影响Forward Forward网络的泛化误差？
• RQ3 结构化的、逐层递增（金字塔形）的阈值策略是否优于固定或递减的阈值调度？
• RQ4 Forward Forward网络中学习到的权重分布与反向传播训练网络相比，在幅度与方差方面有何差异？
• RQ5 在Forward Forward训练框架中，哪种激活函数最有效？为何tanh和sigmoid等有界激活函数表现较差？

主要发现

• Forward Forward算法在IMDb情感分析数据集上取得了具有竞争力的性能，建立了该任务的首个已知基线。
• 金字塔形阈值策略（即阈值从浅层到深层递增）相比基线配置，将测试误差降低了高达8%。
• 使用从低开始并随时间逐渐提高的阈值调度器，将误差从1.8%降低至1.3%，表明这是一种有前景的自适应调优方法。
• Forward Forward训练的网络权重幅度比反向传播训练的网络大10–20倍，其范围为-14.36至18.19，而反向传播网络为-0.67至0.43，即使未使用权重衰减。
• 深层网络中的权重幅度呈现递减趋势，表明存在一种结构化的学习过程，其中高层表示以更小的权重尺度被学习。
• 在连接到标签编码输入单元的权重中观察到明显的峰值，表明该输入携带了对正确分类至关重要的信息。

(b) Negative data samples