[论文解读] Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification

Rakshith Sharma Srinivasa, Cao Xiao+3 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Graph Neural Networks参考文献 29被引用 13

一句话总结

FastGAT 通过使用基于有效电阻的谱稀疏化方法对输入图进行剪枝，加速了图注意力网络（GAT）的计算，将计算复杂度从节点数的二次方降低至近线性。该方法在理论上保持了 GAT 的特征表示，并在训练和推理中实现了高达 10 倍的速度提升，同时精度下降极小，使 GAT 能够在 Reddit 等大规模图上运行，而标准 GAT 因内存限制而无法处理。

ABSTRACT

The attention mechanism has demonstrated superior performance for inference over nodes in graph neural networks (GNNs), however, they result in a high computational burden during both training and inference. We propose FastGAT, a method to make attention based GNNs lightweight by using spectral sparsification to generate an optimal pruning of the input graph. This results in a per-epoch time that is almost linear in the number of graph nodes as opposed to quadratic. We theoretically prove that spectral sparsification preserves the features computed by the GAT model, thereby justifying our algorithm. We experimentally evaluate FastGAT on several large real world graph datasets for node classification tasks under both inductive and transductive settings. FastGAT can dramatically reduce (up to extbf{10x}) the computational time and memory requirements, allowing the usage of attention based GNNs on large graphs.

研究动机与目标

• 为解决基于注意力的 GNN，特别是图注意力网络（GAT）的高计算成本问题，其计算复杂度随图大小呈二次方增长。
• 实现在大规模图上高效训练和推理 GAT，解决标准 GAT 因内存不足或速度过慢而无法运行的问题。
• 开发一种通用的稀疏化方法，可适用于除 GAT 外的多种基于注意力的 GNN。
• 从理论上证明谱稀疏化可保留 GAT 模型学习到的关键特征表示。
• 设计一种自适应算法，在训练过程中动态调整稀疏化参数（epsilon），以维持模型性能。

提出的方法

• 使用有效电阻衡量边在保持图连通性和谱性质方面的重要性。
• 应用谱稀疏化生成边数显著减少的子图，同时保持图的谱结构。
• 利用快速拉普拉斯求解器和基于 Johnson-Lindenstrauss 的近似方法，在 O(M log N) 时间内计算有效电阻，其中 M 为边数。
• 用稀疏化后的子图替换 GAT 中的原始图，大幅减少成对注意力计算的数量。
• 引入一种自适应算法，根据训练过程中各轮次的验证性能动态调整稀疏化程度（epsilon）。
• 理论分析证明，谱稀疏化可保留 GAT 模型学习到的特征表示，从而为方法的有效性提供理论依据。

实验结果

研究问题

• RQ1 基于有效电阻的图稀疏化是否可在不损失性能的前提下加速基于注意力的 GNN？
• RQ2 谱稀疏化是否保留了 GAT 模型学习到的关键特征表示？
• RQ3 所提方法是否能在真实大规模图上实现显著加速（如 10 倍）并保持竞争性精度？
• RQ4 该方法是否可推广至 GAT 以外的其他基于注意力的 GNN 架构？
• RQ5 自适应稀疏化策略是否可在训练过程中动态调节稀疏化程度，以维持最优性能？

主要发现

• FastGAT 相较于标准 GAT，训练时间最多可减少 10 倍，精度下降可忽略不计。
• 在 Reddit 数据集上，FastGAT 每轮训练仅需 7.73 秒，F1 分数达到 0.93，而标准 GAT 因内存不足而崩溃。
• 即使在 Coauthor-Physics 数据集上稀疏化至仅 163,334 条边（epsilon = 0.5）时，该方法仍能保持与全图 GAT 相当的性能。
• 自适应稀疏化算法成功匹配了固定 epsilon 基线的训练速率，表明其在不同数据集上的鲁棒性。
• FastGAT 可推广至其他注意力机制，包括基于余弦相似度的注意力和门控注意力网络，展现出广泛适用性。
• 理论分析确认，谱稀疏化可保留 GAT 计算出的关键特征，为方法提供了强有力的理论支持。