[论文解读] FedGCN: Convergence-Communication Tradeoffs in Federated Training of Graph Convolutional Networks

Yuhang Yao, Jin, Weizhao+2 more|arXiv (Cornell University)|Jan 28, 2022

Privacy-Preserving Technologies in Data被引用 16

一句话总结

FedGCN 提出了一种新颖的联邦图卷积网络框架，通过在预训练阶段仅一次传输跨客户端邻居信息，并利用同态加密保护隐私，实现了快速收敛和通信成本的显著降低。与先前方法相比，该方法将通信成本降低了超过100倍，平均收敛速度提升了51.7%。

ABSTRACT

Methods for training models on graphs distributed across multiple clients have recently grown in popularity, due to the size of these graphs as well as regulations on keeping data where it is generated. However, the cross-client edges naturally exist among clients. Thus, distributed methods for training a model on a single graph incur either significant communication overhead between clients or a loss of available information to the training. We introduce the Federated Graph Convolutional Network (FedGCN) algorithm, which uses federated learning to train GCN models for semi-supervised node classification with fast convergence and little communication. Compared to prior methods that require extra communication among clients at each training round, FedGCN clients only communicate with the central server in one pre-training step, greatly reducing communication costs and allowing the use of homomorphic encryption to further enhance privacy. We theoretically analyze the tradeoff between FedGCN's convergence rate and communication cost under different data distributions. Experimental results show that our FedGCN algorithm achieves better model accuracy with 51.7% faster convergence on average and at least 100X less communication compared to prior work.

研究动机与目标

• 为解决联邦GCN训练中因跨客户端边的存在而导致的高通信开销和隐私风险。
• 在训练前仅传输一次邻居信息，以最小化客户端之间的通信，同时保持模型精度。
• 通过同态加密实现隐私保护的GCN训练，同时将密码学开销降至最低。
• 在独立同分布（i.i.d.）和非独立同分布（non-i.i.d.）数据分布下，理论分析收敛速度与通信成本之间的权衡。
• 通过实证验证FedGCN在准确性、收敛速度和通信效率方面相对于现有联邦GCN方法的优越性。

提出的方法

• FedGCN 在预训练阶段执行单轮通信，客户端将邻居特征信息发送给中央服务器，从而在后续训练轮次中避免重复通信。
• 采用同态加密在服务器端安全聚合邻居特征，以最小的密码学开销保护客户端隐私。
• 基于节点分布和跨客户端边的概率建模通信成本，使用参数 α（边共享概率）和 μ（非独立同分布失衡因子）。
• 在i.i.d.数据下，通信成本近似为 $ N(1 + (C-1)rac{eta N}{CK})d $，其中 β 反映邻居共享程度；在非i.i.d.数据下，通过 $ p $ 和 $ rac{N(C-p)}{CK} $ 反映数据失衡的影响。
• 支持一跳、两跳和L跳邻居聚合，通信成本随跳数和邻居数量线性增长。
• 在极端情况下（节点仅有一个跨客户端邻居）引入差分隐私，进一步增强隐私保护。

实验结果

研究问题

• RQ1 如何在联邦GCN训练中高效传输跨客户端边的信息，而无需重复通信？
• RQ2 在不同数据分布下，联邦GCN训练中收敛速度与通信成本之间的理论权衡是什么？
• RQ3 单轮预训练通信是否能实现与先前联邦GCN方法中迭代通信相当或更优的模型精度？
• RQ4 同态加密的使用如何影响联邦GCN训练中的通信开销和隐私保护？
• RQ5 与现有方法相比，FedGCN在收敛速度提升和通信成本降低方面带来了多大的性能增益？

主要发现

• 与先前的联邦GCN方法相比，FedGCN 平均收敛速度提升了51.7%。
• 与需要重复客户端-服务器通信的现有方法相比，该方法将通信成本降低了至少100倍。
• 在i.i.d.设置下，通信成本受 $ N(1 + (C-1)rac{eta N}{CK})d $ 限制，其中 β 取决于边共享概率和数据分布。
• 对于非i.i.i.d.数据，通信成本近似为 $ ((1- u)p + u C)rac{eta N(C-1)}{CK} + 1)Nd $，反映了数据失衡的影响。
• 该框架通过仅一轮通信实现安全训练，显著降低了密码学开销。
• 实证结果证实，FedGCN 在大幅降低通信量的同时保持了高模型精度并加速了收敛。