[论文解读] Personalized Subgraph Federated Learning

Jinheon Baek, Wonyong Jeong+3 more|arXiv (Cornell University)|Jun 21, 2022

Privacy-Preserving Technologies in Data被引用 11

一句话总结

该论文提出个性化子图联邦学习（FED-PUB），一种新颖的框架，通过使用功能嵌入来衡量模型相似性，并应用个性化稀疏掩码以选择性地更新与子图相关的参数，从而在去中心化、隐私保护的子图上提升图神经网络（GNN）的协作训练性能。FED-PUB在六个数据集上显著优于现有基线方法，无论子图是否存在重叠，均有效缓解了因缺失边和模型异质性导致的性能下降。

ABSTRACT

Subgraphs of a larger global graph may be distributed across multiple devices, and only locally accessible due to privacy restrictions, although there may be links between subgraphs. Recently proposed subgraph Federated Learning (FL) methods deal with those missing links across local subgraphs while distributively training Graph Neural Networks (GNNs) on them. However, they have overlooked the inevitable heterogeneity between subgraphs comprising different communities of a global graph, consequently collapsing the incompatible knowledge from local GNN models. To this end, we introduce a new subgraph FL problem, personalized subgraph FL, which focuses on the joint improvement of the interrelated local GNNs rather than learning a single global model, and propose a novel framework, FEDerated Personalized sUBgraph learning (FED-PUB), to tackle it. Since the server cannot access the subgraph in each client, FED-PUB utilizes functional embeddings of the local GNNs using random graphs as inputs to compute similarities between them, and use the similarities to perform weighted averaging for server-side aggregation. Further, it learns a personalized sparse mask at each client to select and update only the subgraph-relevant subset of the aggregated parameters. We validate our FED-PUB for its subgraph FL performance on six datasets, considering both non-overlapping and overlapping subgraphs, on which it significantly outperforms relevant baselines. Our code is available at https://github.com/JinheonBaek/FED-PUB.

研究动机与目标

• 解决由于子图间缺失边和子图间模型异质性导致的子图联邦学习性能下降问题。
• 开发一种个性化联邦学习框架，联合优化同一社区内相互关联的本地GNN模型，而非学习单一全局模型。
• 在隐私约束下实现客户端之间知识共享，而无需暴露原始子图数据。
• 发现子图之间的社区结构，并将模型参数本地化到每个客户端的本地子图。

提出的方法

• 通过使用随机图计算本地GNN的功能嵌入，以在不访问子图的情况下估计客户端模型之间的相似性。
• 服务器端聚合基于这些功能嵌入相似性对客户端模型参数进行加权平均。
• 每个客户端学习一个个性化稀疏掩码，以仅选择并更新与其本地子图相关的子网络参数。
• 该框架在严格隐私约束下运行，因为服务器从不访问客户端的实际子图数据或节点/边信息。
• 该方法设计用于处理多个客户端之间子图重叠与非重叠的场景。
• 该方法避免直接共享节点或边信息，从而降低隐私风险并减少通信开销。

实验结果

研究问题

• RQ1 当本地子图不重叠且缺乏子图间边时，如何提升子图联邦学习的性能？
• RQ2 来自不同社区的子图之间存在的模型异质性在多大程度上会降低现有子图FL方法的性能？
• RQ3 在不访问原始子图数据的情况下，GNN在随机图上的功能嵌入能否有效捕捉本地模型之间的相似性？
• RQ4 个性化稀疏掩码如何通过将参数更新局部化到与子图相关的组件来提升性能？
• RQ5 所提出的框架是否能在重叠与非重叠子图设置下，均超越现有的子图FL和个性化FL基线方法？

主要发现

• FED-PUB在所有数据集上均最接近Oracle模型（在完整全局图上训练的模型），显著优于FedGNN、FedSage+和FedPer。
• 在Cora数据集（非重叠子图）上，FED-PUB实现84.3%的测试准确率，比次佳基线高出3.1个百分点。
• 在重叠子图场景中，FED-PUB保持一致的性能提升，在PubMed数据集上相比FedGNN提升2.8%。
• 功能嵌入成功识别出子图之间的社区结构，如嵌入相似性聚类分析所示。
• 个性化稀疏掩码机制有效实现了模型参数的本地化，提升了泛化能力并减少了无关参数的干扰。
• 消融实验确认，功能嵌入和稀疏掩码均为关键组件，当任一组件被移除时，性能下降超过5%。