[论文解读] Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks

Peng Jiang, Masuma Akter Rumi|arXiv (Cornell University)|Jan 19, 2021

Advanced Graph Neural Networks参考文献 29被引用 5

一句话总结

该论文提出了一种通信高效的图卷积网络（GCNs）邻居采样方法，通过为本地节点分配更高的采样概率，以减少跨机器的特征通信。该方法通过无偏估计保持模型收敛性，在真实图上实现高达5.2倍的通信开销降低，且精度损失最小。

ABSTRACT

Training Graph Convolutional Networks (GCNs) is expensive as it needs to aggregate data recursively from neighboring nodes. To reduce the computation overhead, previous works have proposed various neighbor sampling methods that estimate the aggregation result based on a small number of sampled neighbors. Although these methods have successfully accelerated the training, they mainly focus on the single-machine setting. As real-world graphs are large, training GCNs in distributed systems is desirable. However, we found that the existing neighbor sampling methods do not work well in a distributed setting. Specifically, a naive implementation may incur a huge amount of communication of feature vectors among different machines. To address this problem, we propose a communication-efficient neighbor sampling method in this work. Our main idea is to assign higher sampling probabilities to the local nodes so that remote nodes are accessed less frequently. We present an algorithm that determines the local sampling probabilities and makes sure our skewed neighbor sampling does not affect much the convergence of the training. Our experiments with node classification benchmarks show that our method significantly reduces the communication overhead for distributed GCN training with little accuracy loss.

研究动机与目标

• 解决由于远程邻居频繁传输特征而导致的分布式GCN训练中高通信开销问题。
• 设计一种邻居采样策略，在保持模型收敛性和精度的同时最小化机器间通信。
• 开发一种采样概率方案，优先考虑本地节点，同时避免梯度估计中的偏差。
• 在单机和多机设置下，通过真实图上的性能和精度基准验证该方法。

提出的方法

• 该方法为存储在每台机器上的本地节点分配更高的采样概率，以减少获取远程特征向量的需求。
• 采用偏斜的采样分布，其中选择邻居的概率与其局部性成正比，由超参数D控制。
• 通过逆概率加权对采样进行校正，以确保无偏梯度估计并维持训练收敛性。
• 提出一种算法，用于计算本地采样概率，以在通信减少和模型精度之间取得平衡。
• 该方法可集成到现有GCN框架中，支持单机和多机分布式训练。
• 在Cora、Citeseer、Reddit、YouTube和Amazon图上使用节点分类基准对方法进行了评估。

实验结果

研究问题

• RQ1 如何在不牺牲模型精度的前提下，使分布式GCN训练中的邻居采样更具通信效率？
• RQ2 何种采样策略能最小化机器间特征传输，同时保持训练收敛性？
• RQ3 优先考虑本地节点如何影响通信成本与模型性能之间的权衡？
• RQ4 基于节点局部性的偏斜采样分布能否实现与全通信训练相当的精度？

主要发现

• 在Reddit图上，当D=16时，该方法将通信时间减少3.5倍，通信数据量减少5.2倍，同时保持92.2%的验证精度。
• 在YouTube图上，当D=16时，通信时间减少6.7倍，该方法达到33.4%的验证精度，而全通信基线为34.0%。
• 在八台机器的Amazon图上，该方法实现4.2倍的加速，保持79.29%的精度，而全通信版本为79.31%。
• 集中式CPU特征存储方法比分布式GPU存储方法慢1.2至13倍，验证了分布式特征存储的效率。
• 仅使用本地聚合导致显著的精度损失（如YouTube图上为28.5%），凸显了访问远程邻居的重要性。
• 在Cora和Citeseer上，该方法的收敛速度与全通信版本几乎相同，仅在D=16时因方差增加而略有延迟。