[论文解读] L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks

Yuning You, Tianlong Chen+2 more|arXiv (Cornell University)|Mar 30, 2020

Advanced Graph Neural Networks参考文献 27被引用 8

一句话总结

本文提出 L-GCN，一种用于图卷积网络的逐层训练框架，通过解耦特征聚合与特征变换，显著降低训练时间和内存消耗。此外，本文进一步提出 L²-GCN，其采用可学习的 RNN 控制器自动优化每层的训练轮次，实现最先进的加速效果——最快可快一个数量级——同时保持优异性能，并实现与数据集规模无关的一致内存使用。

ABSTRACT

Graph convolution networks (GCN) are increasingly popular in many applications, yet remain notoriously hard to train over large graph datasets. They need to compute node representations recursively from their neighbors. Current GCN training algorithms suffer from either high computational costs that grow exponentially with the number of layers, or high memory usage for loading the entire graph and node embeddings. In this paper, we propose a novel efficient layer-wise training framework for GCN (L-GCN), that disentangles feature aggregation and feature transformation during training, hence greatly reducing time and memory complexities. We present theoretical analysis for L-GCN under the graph isomorphism framework, that L-GCN leads to as powerful GCNs as the more costly conventional training algorithm does, under mild conditions. We further propose L$^2$-GCN, which learns a controller for each layer that can automatically adjust the training epochs per layer in L-GCN. Experiments show that L-GCN is faster than state-of-the-arts by at least an order of magnitude, with a consistent of memory usage not dependent on dataset size, while maintaining comparable prediction performance. With the learned controller, L$^2$-GCN can further cut the training time in half. Our codes are available at https://github.com/Shen-Lab/L2-GCN.

研究动机与目标

• 解决在大规模图上训练深层 GCN 所面临的高计算与内存开销问题。
• 克服由于跨层递归邻居聚合导致的 mini-batch GCN 训练复杂度呈指数级增长的问题。
• 开发一种在显著降低时间与内存复杂度的同时，仍保持表征能力的训练框架。
• 通过自动学习最优配置，消除对每层训练轮次的手动超参数调优。
• 证明使用可学习控制器的逐层训练可实现与传统训练相当或近乎相当的性能，但训练时间仅为后者的几分之一。

提出的方法

• 在 GCN 训练中解耦特征聚合（FA）与特征变换（FT），实现逐层处理而非端到端反向传播。
• 使用小批量更新独立训练每个 GCN 层，仅存储当前层的嵌入表示，将内存复杂度降低至 O(BD)，与数据集规模无关。
• 基于图同构性框架进行理论分析，证明在温和条件下 L-GCN 仍能保持表征能力。
• 提出 L²-GCN，其使用 RNN 控制器通过观察采样子图上的性能，自动学习每层的最优训练轮次。
• 在随机采样的子图上训练 RNN 控制器，以预测每层训练的停止时机，替代手动配置轮次。
• 采用贪心的迭代训练策略，即每层训练至收敛后才进入下一层，从而最小化冗余计算。

实验结果

研究问题

• RQ1 GCN 的逐层训练策略是否能保持传统端到端训练的表征能力？
• RQ2 解耦特征聚合与特征变换在多大程度上能降低 GCN 训练的时间与内存复杂度？
• RQ3 可学习控制器是否能自动确定最优的每层训练轮次，而无需手动调优超参数？
• RQ4 L-GCN 与 L²-GCN 在准确率、训练时间与内存使用方面与当前最先进方法相比表现如何？
• RQ5 当采用所提出的逐层训练方法时，更深的网络架构是否能提升性能？

主要发现

• L-GCN 将训练时间复杂度降低至 O(L||Â||₀/NBAT D + BD²)，内存复杂度降低至 O(BD)，且与数据集规模无关，优于传统与小批量 GCN 方法。
• 在 Reddit 数据集上，L-GCN 实现 94.2% 的 F1 分数，训练速度比 GraphSAGE（93.4%）与 FastGCN（92.6%）快 10 倍，且 GPU 内存使用保持一致。
• L²-GCN 通过学习最优轮次配置，相比 L-GCN 将训练时间减少约 50%，性能损失微小（例如，Reddit 上 F1 为 94.0% 对比 L-GCN 的 94.2%）。
• 使用 L-GCN 训练的更深网络（最多 4 层）表现更优：4 层 L-GCN 在 PPI 数据集上实现 97.7% 的 F1 分数，相较 2 层模型的 93.7% 显著提升。
• L²-GCN 中的 RNN 控制器能学习高效轮次配置——例如 Cora 上为 75+75，Reddit 上为 30+60——在更少轮次内实现与手动调优配置相当的性能。
• 将逐层训练应用于 N-GCN 时，Cora 数据集上的训练时间从 62 秒减少至 4 秒，同时保持 83.1% 的 F1 分数，证明该方法在标准 GCN 之外也具有广泛适用性。