[论文解读] ASFGNN: Automated Separated-Federated Graph Neural Network

Longfei Zheng, Jun Zhou+4 more|arXiv (Cornell University)|Nov 6, 2020

Advanced Graph Neural Networks参考文献 26被引用 5

一句话总结

该论文提出 ASFGNN，一种自动化的分离联邦图神经网络，通过将 GNN 训练解耦为客户端消息传递和联邦损失计算，以解决非独立同分布（Non-IID）数据和通信效率低下的问题。通过结合新颖的分离联邦学习框架与贝叶斯优化进行超参数调优，ASFGNN 在真实世界数据集上的准确率显著提升，且超参数搜索速度相比网格搜索最高提升 102.56 倍。

ABSTRACT

Graph Neural Networks (GNNs) have achieved remarkable performance by taking advantage of graph data. The success of GNN models always depends on rich features and adjacent relationships. However, in practice, such data are usually isolated by different data owners (clients) and thus are likely to be Non-Independent and Identically Distributed (Non-IID). Meanwhile, considering the limited network status of data owners, hyper-parameters optimization for collaborative learning approaches is time-consuming in data isolation scenarios. To address these problems, we propose an Automated Separated-Federated Graph Neural Network (ASFGNN) learning paradigm. ASFGNN consists of two main components, i.e., the training of GNN and the tuning of hyper-parameters. Specifically, to solve the data Non-IID problem, we first propose a separated-federated GNN learning model, which decouples the training of GNN into two parts: the message passing part that is done by clients separately, and the loss computing part that is learnt by clients federally. To handle the time-consuming parameter tuning problem, we leverage Bayesian optimization technique to automatically tune the hyper-parameters of all the clients. We conduct experiments on benchmark datasets and the results demonstrate that ASFGNN significantly outperforms the naive federated GNN, in terms of both accuracy and parameter-tuning efficiency.

研究动机与目标

• 解决因客户端间数据隔离导致在非独立同分布图数据上训练 GNN 的挑战。
• 在通信带宽有限的联邦 GNN 设置下，克服超参数调优带来的高计算成本。
• 设计一种可扩展且保护隐私的 GNN 训练范式，适用于现实世界中的跨小节联邦学习。
• 通过解耦消息传递与损失计算，提升模型性能，同时支持联邦模型聚合。

提出的方法

• 将 GNN 训练分解为两个阶段：使用共享判别模型在客户端本地进行消息传递，以及进行联邦损失计算。
• 在联邦聚合过程中，使用 Jensen–Shannon 散度将本地判别模型与全局模型对齐。
• 应用贝叶斯优化，以最小通信开销在各客户端上自动调优超参数（如：学习率、L2 正则化、dropout）。
• 在服务器端收集并平均客户端的评估指标（如：精确率），以指导贝叶斯优化。
• 利用 SMAC3 实现高效的超参数搜索，减少搜索空间并加快收敛速度。
• 通过将原始特征和嵌入保持在客户端，仅传输模型更新和指标，确保隐私安全。

实验结果

研究问题

• RQ1 在非独立同分布图数据设置下，分离联邦 GNN 框架是否能优于标准联邦 GNN？
• RQ2 在不同标签分布偏移程度（以 α 衡量）下，所提方法的性能表现如何？
• RQ3 在缺乏全局数据的情况下，使用 Jensen–Shannon 散度是否能提升模型对齐度与性能？
• RQ4 与网格搜索相比，贝叶斯优化是否能在不损失模型准确率的前提下显著缩短超参数调优时间？
• RQ5 在非独立同分布设置下，客户端数量如何影响整体模型准确率？

主要发现

• ASFGNN 在所有测试数据集上均优于标准联邦 GNN，尤其在严重标签偏移（α > 0.88）时平均准确率更高。
• 采用 Jensen–Shannon 散度（JS）的模型始终优于非 JS 变体，在 α = 1.0 时准确率提升达 3.66%。
• 与网格搜索相比，贝叶斯优化在 Pubmed 数据集上的超参数调优时间最高减少 102.56 倍。
• 在 Cora 数据集上，ASFGNN 的平均准确率随客户端数量从 2 增至 5 而提升，表明在数据隔离条件下具有更好的泛化能力。
• 贝叶斯优化的加速效果随数据集规模增大而增强，证明其在大规模、数据隔离环境中的可扩展性。
• 即使在多个客户端下，所提方法的准确率仍与集中式训练（CM 模型）相当或更优，展现出对非独立同分布数据的强大鲁棒性。