[论文解读] FastGAE: Fast, Scalable and Effective Graph Autoencoders with Stochastic Subgraph Decoding.

Guillaume Salha-Galvan, Romain Hennequin+3 more|arXiv (Cornell University)|Feb 5, 2020

Advanced Graph Neural Networks参考文献 31被引用 6

一句话总结

FastGAE 是一种可扩展的图自编码器和变分自编码器框架，通过节点采样实现的随机子图解码，加速了大规模图的训练。它在拥有百万个节点的图上实现了最先进性能，同时相比现有方法显著减少了训练时间。

ABSTRACT

Graph autoencoders (AE) and variational autoencoders (VAE) are powerful node embedding methods, but suffer from scalability issues. In this paper, we introduce FastGAE, a general framework to scale graph AE and VAE to large graphs with millions of nodes and edges. Our strategy, based on node sampling and subgraph decoding, significantly speeds up the training of graph AE and VAE while preserving or even improving performances. We demonstrate the effectiveness of FastGAE on numerous real-world graphs, outperforming the few existing approaches to scale graph AE and VAE by a wide margin.

研究动机与目标

• 解决图自编码器（AE）和变分自编码器（VAE）在拥有数百万个节点和边的大规模图上的可扩展性限制。
• 开发一种训练框架，在显著减少训练时间的同时保持或提升模型性能。
• 通过随机子图解码和节点采样，实现在大规模图上的高效训练和推理。
• 在真实世界图数据集上，相比现有方法在可扩展性和性能方面实现超越。

提出的方法

• 该框架通过在训练过程中采样节点并构建子图来实现随机子图解码，以降低计算成本。
• 采用节点采样形成节点的小批量，然后用于解码重构的子图，而非整个图。
• 该方法保持自编码器架构，但将其应用于采样子图，从而保留模型学习有意义节点表征的能力。
• 训练目标仍基于重构损失，但仅在子图上计算，以提升效率。
• 该方法具有通用性，适用于标准图 AE 和变分图 AE（VAE）模型。
• 它实现了在大规模图上显著降低内存和时间复杂度的端到端训练。

实验结果

研究问题

• RQ1 随机子图解码是否能在不牺牲大规模图上性能的前提下提升图自编码器的训练速度？
• RQ2 FastGAE 在可扩展性和表征质量方面与现有可扩展图 AE 和 VAE 方法相比如何？
• RQ3 在大规模设置下，节点采样在多大程度上能保持图自编码器的表征能力？
• RQ4 所提出的子图解码策略是否能保持或提升在真实世界图上的下游性能？

主要发现

• FastGAE 在拥有数百万个节点的图上，相比现有可扩展图 AE 和 VAE 方法，实现了显著的训练时间加速。
• 该框架在下游节点分类和链接预测任务上的性能相对于基线方法保持不变或有所提升。
• 随机子图解码在大规模图上实现了有效训练，同时显著降低了内存和计算开销。
• FastGAE 在速度和性能方面，远超少数为扩展图 AE 和 VAE 而设计的现有方法。