[论文解读] Federated Learning on Non-IID Graphs via Structural Knowledge Sharing

Yue Tan, Yixin Liu+4 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Graph Neural Networks被引用 10

一句话总结

FedStar 提出了一种联邦图学习框架，通过显式学习并共享结构嵌入，将结构知识与基于特征的知识解耦，从而在非独立同分布（non-IID）图设置下实现更优性能，通过捕捉领域不变的结构知识同时保留个性化的特征学习。

ABSTRACT

Graph neural networks (GNNs) have shown their superiority in modeling graph data. Owing to the advantages of federated learning, federated graph learning (FGL) enables clients to train strong GNN models in a distributed manner without sharing their private data. A core challenge in federated systems is the non-IID problem, which also widely exists in real-world graph data. For example, local data of clients may come from diverse datasets or even domains, e.g., social networks and molecules, increasing the difficulty for FGL methods to capture commonly shared knowledge and learn a generalized encoder. From real-world graph datasets, we observe that some structural properties are shared by various domains, presenting great potential for sharing structural knowledge in FGL. Inspired by this, we propose FedStar, an FGL framework that extracts and shares the common underlying structure information for inter-graph federated learning tasks. To explicitly extract the structure information rather than encoding them along with the node features, we define structure embeddings and encode them with an independent structure encoder. Then, the structure encoder is shared across clients while the feature-based knowledge is learned in a personalized way, making FedStar capable of capturing more structure-based domain-invariant information and avoiding feature misalignment issues. We perform extensive experiments over both cross-dataset and cross-domain non-IID FGL settings, demonstrating the superiority of FedStar.

研究动机与目标

• 解决联邦图学习中非独立同分布图数据的挑战，其中客户端持有的图来自不同领域，具有异质的特征和结构。
• 克服传统联邦图学习方法在异质特征空间中聚合基于特征的表示所导致的泛化能力差的局限性。
• 利用不同图领域（如社交网络和分子）之间共享的通用结构特性，以提升模型泛化能力，同时不共享原始数据。
• 设计一种框架，将结构学习与特征学习解耦，以隔离结构知识与特征异质性，实现有效的知识共享。
• 通过共享全局结构编码器同时保持特征编码器个性化，在跨数据集和跨领域非独立同分布设置下实现更优性能。

提出的方法

• 将结构嵌入定义为图拓扑的显式表示，通过专用的结构编码器独立于节点特征进行学习。
• 将图神经网络分解为两个组件：用于节点属性的特征编码器和用于拓扑模式的结构编码器，实现独立优化。
• 在联邦聚合过程中，将训练好的结构编码器全局共享于所有客户端，而每个客户端在本地训练其自身的特征编码器。
• 在消息传递过程中，将结构嵌入与节点特征表示拼接，以增强节点表示的结构上下文信息。
• 采用双编码策略，结合基于度的结构编码（DSE）和基于随机游走的结构编码（RWSE），以捕捉局部和全局的结构模式。
• 仅对结构编码器参数执行联邦平均，以保留特征编码器的个性化设置，避免特征对齐错误。

实验结果

研究问题

• RQ1 在联邦图学习中，能否有效提取并跨客户端共享显式的结构知识，以缓解非独立同分布数据的挑战？
• RQ2 解耦结构学习与特征学习是否能提升跨领域和跨数据集非独立同分布图设置下的模型泛化能力？
• RQ3 仅共享结构编码器而保持特征编码器个性化，与共享全部参数或仅共享特征编码器相比，对性能有何影响？
• RQ4 在异质图设置下，不同类型的结构嵌入（如 DSE 与 RWSE）对整体性能的相对贡献如何？
• RQ5 在非独立同分布场景下，FedStar 在客户端数量增加和本地训练轮次变化时的可扩展性如何？

主要发现

• FedStar 在 BIO-CHEM(2) 上取得 74.54% ± 2.50 的 F1 分数，在 BIO-CHEM-SN(3) 上为 72.15% ± 2.43，在 BIO-SN-CV(3) 上为 69.49% ± 1.81，在所有跨领域非独立同分布设置下均优于 FedAvg 和 GCFL。
• 消融研究显示，结合 DSE 和 RWSE 可获得最佳性能，其中 DSE 在捕捉领域不变结构模式方面贡献更大。
• 仅共享结构编码器时性能最高，而共享全部参数或仅共享特征编码器则因特征异质性导致性能下降。
• 与 FedAvg 或 GCFL 相比，FedStar 更受益于增加本地训练轮次，在 CHEM 非独立同分布设置下，4 个本地轮次时达到 80.58% ± 2.48 的 F1 分数。
• 当客户端数量从 7 增加到 84 时，FedStar 仍保持优越性能，显示出在大规模联邦图学习系统中的鲁棒性与可扩展性。
• 该框架在小规模和大规模非独立同分布设置下均优于本地训练和现有最先进方法，展示了在多样化图领域中的一致性能提升。