[论文解读] Distributed Training of Graph Convolutional Networks using Subgraph Approximation

Alexandra Angerd, Keshav Balasubramanian+1 more|arXiv (Cornell University)|Dec 9, 2020

Advanced Graph Neural Networks参考文献 21被引用 5

一句话总结

本文提出了一种用于图卷积网络（GCNs）分布式训练的子图近似技术，通过在不同分区之间重叠并使用近似邻居信息，减少了通信开销并提升了准确率。该方法在低内存使用和极少同步的情况下实现了单机训练的准确率，使大规模图的可扩展训练成为可能。

ABSTRACT

Modern machine learning techniques are successfully being adapted to data modeled as graphs. However, many real-world graphs are typically very large and do not fit in memory, often making the problem of training machine learning models on them intractable. Distributed training has been successfully employed to alleviate memory problems and speed up training in machine learning domains in which the input data is assumed to be independently identical distributed (i.i.d). However, distributing the training of non i.i.d data such as graphs that are used as training inputs in Graph Convolutional Networks (GCNs) causes accuracy problems since information is lost at the graph partitioning boundaries. In this paper, we propose a training strategy that mitigates the lost information across multiple partitions of a graph through a subgraph approximation scheme. Our proposed approach augments each sub-graph with a small amount of edge and vertex information that is approximated from all other sub-graphs. The subgraph approximation approach helps the distributed training system converge at single-machine accuracy, while keeping the memory footprint low and minimizing synchronization overhead between the machines.

研究动机与目标

• 解决由于图划分边界处信息丢失导致的分布式GCN训练中准确率下降的问题。
• 在不牺牲模型性能的前提下，减少分布式GCN训练中的通信开销。
• 在内存受限的机器上，实现大规模图的可扩展、内存高效的GCN训练。
• 在分布式设置下实现与单机训练相当的收敛准确率。

提出的方法

• 该方法将大规模图划分为子图，并引入一种子图近似方案，通过从相邻子图中引入近似顶点和边信息来增强每个本地子图。
• 近似信息包括来自非本地分区的邻居顶点和边，通过轻量级聚合方法计算，以减少通信量。
• 该方法在子图之间引入了小范围、受控的重叠（重叠因子 <1.2），以保留跨越划分边界的长程依赖关系。
• 近似在GCN层的消息传递过程中应用，确保每个节点能接收到来自远距离邻居的相关信息，而无需完整图遍历。
• 通过限制每个节点的本地子图大小，系统在保持模型准确率的同时，实现了每台机器的低内存使用。
• 该方法在两种GCN架构（KW-GCN和GraphSAGE）和两个数据集（Reddit和Amazon2M）上进行了评估，展示了高准确率和快速收敛。

实验结果

研究问题

• RQ1 在最小化通信开销的前提下，分布式GCN训练能否实现与单机训练相当的准确率？
• RQ2 子图近似对大规模图学习中的收敛速度和模型准确率有何影响？
• RQ3 在准确率与通信成本之间达到最佳平衡时，子图重叠的最优水平是什么？
• RQ4 与现有分布式GNN框架相比，该方法在可扩展性和性能方面表现如何？

主要发现

• 在Reddit数据集上，该方法实现了94.94%的准确率——与单机训练完全一致——同时使用了5台机器的分布式训练。
• 当忽略跨越分区的边时，准确率显著下降至89.95%，证明了通信损失的关键影响。
• 仅使用2%的子图重叠，该方法在相同训练轮数内实现了与当前最先进的单机基线ClusterGCN相当的收敛速度。
• 由于每轮计算量减少，该分布式方法的时间复杂度在相同框架下低于ClusterGCN。
• 通过添加少量非本地顶点，该方法在高阶图（如Reddit，平均度数为100.03）中实现了超线性准确率提升。
• 该方法在每台机器上保持了低内存占用，能够有效扩展至无法装入主内存的大规模图。