[论文解读] Graph Neural Networks Go Forward-Forward

Daniele Paliotta, Mathieu Alain+2 more|arXiv (Cornell University)|Feb 10, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出图Forward-Forward（GFF），一种用于图神经网络的新颖训练方法，该方法用仅前向传播的程序替代反向传播，利用正样本和负样本图进行训练。GFF通过贪婪地逐层训练，使模型在正样本图上最大化得分，在负样本图上最小化得分，从而在性能上与反向传播相当，同时具备更高的生物合理性与更低的内存占用。

ABSTRACT

We present the Graph Forward-Forward (GFF) algorithm, an extension of the Forward-Forward procedure to graphs, able to handle features distributed over a graph's nodes. This allows training graph neural networks with forward passes only, without backpropagation. Our method is agnostic to the message-passing scheme, and provides a more biologically plausible learning scheme than backpropagation, while also carrying computational advantages. With GFF, graph neural networks are trained greedily layer by layer, using both positive and negative samples. We run experiments on 11 standard graph property prediction tasks, showing how GFF provides an effective alternative to backpropagation for training graph neural networks. This shows in particular that this procedure is remarkably efficient in spite of combining the per-layer training with the locality of the processing in a GNN.

研究动机与目标

• 开发一种生物合理、无需反向传播的图神经网络训练方法。
• 将Forward-Forward算法扩展至具有节点特征的图结构数据。
• 实现仅通过前向传播训练GNN，避免梯度计算与内存密集型的反向传播过程。
• 在标准图属性预测基准上评估GFF，并与标准反向传播方法比较其性能与效率。
• 探究不同得分函数与负样本生成策略对GNN训练的影响。

提出的方法

• GFF通过基于聚合节点激活的得分函数（通常为各层激活平方和）将Forward-Forward算法扩展至图结构，实现对图的扩展。
• 通过在节点特征中附加正确或错误的标签编码，分别生成正样本和负样本图。
• 以贪婪方式逐层训练模型：每一层的参数被更新以在正样本图上最大化得分，在负样本图上最小化得分。
• 该方法兼容任意消息传递GNN架构，且层间无需可微分组件。
• 负样本通过向现有图分配错误标签生成，同时探索了如虚拟节点等图增强策略作为替代方案。
• 训练过程避免存储所有激活值，显著降低了与反向传播相比的内存占用。

实验结果

研究问题

• RQ1 Forward-Forward算法能否成功扩展至具有节点特征的图结构数据？
• RQ2 在图属性预测任务中，GFF与标准反向传播相比表现如何？
• RQ3 GFF在GNN训练中相较于反向传播具有哪些计算与内存优势？
• RQ4 不同得分函数选择与负样本生成方法对GFF性能有何影响？
• RQ5 尽管缺乏自顶向下的梯度传播，GFF能否有效捕捉图中的长程依赖关系？

主要发现

• 在11个标准图属性预测数据集上，GFF的性能与反向传播相当，证明其作为训练替代方案的可行性。
• 由于采用按需存储激活而非完整缓存激活，GFF的内存消耗显著低于反向传播，尤其在深层网络中优势明显。
• 即使结合逐层训练与消息传递GNN的局部归纳偏置，该方法仍保持有效性。
• 不同的得分函数（如激活平方和）可取得优异结果，其他聚合方法可能进一步提升性能。
• 缺乏自顶向下的信息流限制了GFF向早期层传播长程依赖的能力，提示需进行架构改进。
• 通过标签污染生成的负样本有效，但如虚拟节点等图增强技术可能在长程任务中进一步提升性能。