[论文解读] GLASU: A Communication-Efficient Algorithm for Federated Learning with Vertically Distributed Graph Data

Xinwei Zhang, Mingyi Hong+1 more|arXiv (Cornell University)|Mar 16, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

GLASU 是一种针对垂直分布图数据的通信高效联邦学习算法，其中客户端持有部分节点特征和不相交的边集。它将图神经网络（GNN）模型拆分至客户端与服务器之间，通过懒惰聚合和过时更新机制，将通信量减少至 $QL/K$ 倍，从而在显著降低通信开销的同时，实现与集中式训练相当的模型精度，并保持收敛性保证。

ABSTRACT

Vertical federated learning (VFL) is a distributed learning paradigm, where computing clients collectively train a model based on the partial features of the same set of samples they possess. Current research on VFL focuses on the case when samples are independent, but it rarely addresses an emerging scenario when samples are interrelated through a graph. For graph-structured data, graph neural networks (GNNs) are competitive machine learning models, but a naive implementation in the VFL setting causes a significant communication overhead. Moreover, the analysis of the training is faced with a challenge caused by the biased stochastic gradients. In this paper, we propose a model splitting method that splits a backbone GNN across the clients and the server and a communication-efficient algorithm, GLASU, to train such a model. GLASU adopts lazy aggregation and stale updates to skip aggregation when evaluating the model and skip feature exchanges during training, greatly reducing communication. We offer a theoretical analysis and conduct extensive numerical experiments on real-world datasets, showing that the proposed algorithm effectively trains a GNN model, whose performance matches that of the backbone GNN when trained in a centralized manner.

研究动机与目标

• 解决图结构化数据在特征与边垂直划分场景下缺乏通信高效联邦学习方法的问题。
• 降低在垂直联邦学习中，GNN 的邻居聚合带来的高通信开销。
• 实现在多个客户端与服务器之间联合训练 GNN 的目标，同时保持模型精度与隐私性。
• 在存在梯度偏差与因使用过时表征导致的更新相关性的情况下，提供理论收敛性保证。
• 设计一个与现有 GNN 架构和标准联邦学习协议兼容的灵活框架。

提出的方法

• 将 GNN 模型在客户端与服务器之间拆分，其中客户端负责存储特征表示与本地 GNN 层，服务器仅负责聚合与分发操作。
• 应用懒惰聚合机制，在 $L$ 个 GNN 层中的 $K$ 个层中跳过邻居聚合，从而降低通信频率。
• 通过允许客户端使用过时的全局模型参数，采用过时更新机制，进一步减少通信量。
• 仅在 $K$ 个层中每 $Q$ 个迭代周期通信部分节点表示，理论通信量减少因子为 $QL/K$。
• 引入误差分解分析，以界定向量梯度偏差，并证明收敛速率为 $\mathcal{O}((TQ)^{-1})$。
• 支持与现有 VFL 方法及集中式训练的后向兼容性（例如，当 $K=1$、$K=L$ 或仅有一个客户端时，可退化为特例）。

Figure 1: Data isolation of vertically distributed graph-structured data over three clients.

实验结果

研究问题

• RQ1 能否为具有分布式特征与边的图结构化数据设计一种通信高效的联邦学习算法？
• RQ2 如何优化 GNN 中的邻居聚合机制，以减少通信量而不损失模型精度？
• RQ3 在此联邦 GNN 场景下，面对梯度偏差与过时更新，可建立何种理论收敛性保证？
• RQ4 在保持与集中式训练相当性能的前提下，通信量最多可减少多少？
• RQ5 所提出的 GLASU 框架在不同 GNN 架构与真实世界图数据集上的泛化能力如何？

主要发现

• GLASU 在 Cora、PubMed、CiteSeer、HeriGraph 和 Reddit 数据集上实现了与集中式训练相当的测试精度，性能下降可忽略。
• 通信开销降低了高达 $QL/K$ 倍，实验表明通信轮次减少带来了显著的速度提升。
• 该算法保持了 $\mathcal{O}((TQ)^{-1})$ 的收敛速率，通过梯度误差分解的理论分析得到验证。
• 在 Reddit 与 HeriGraph 数据集上，由于通信节省，GLASU 的训练时间相比基线方法减少了超过 70%。
• 该框架可泛化至现有 VFL 与 GNN 方法，可恢复 [2]、[8]、[9] 及集中式训练作为特例。

Figure 2: Illustration of the split model on $M=3$ clients with lazy aggregation. In the model, the second server aggregation layer is skipped and the graph size used by each layer gradually decreases, due to neighborhood aggregation (inverse of neighborhood sampling).