[论文解读] Federated Graph Learning -- A Position Paper

Huanding Zhang, Tao Shen+4 more|arXiv (Cornell University)|May 24, 2021

Privacy-Preserving Technologies in Data参考文献 26被引用 22

一句话总结

本文立场论文基于客户端之间图数据的分布方式，将联邦图学习（Federated Graph Learning, FGL）系统性地划分为四类——跨图联邦学习、图内联邦学习（水平与垂直）、以及图结构联邦学习。论文阐述了各类形式化定义、应用场景及关键挑战，如非独立同分布（Non-IID）图结构、孤立子图、实体匹配、数据集缺乏以及通信开销等问题，并提出了隐私保护图神经网络（GNN）训练的未来研究方向。

ABSTRACT

Graph neural networks (GNN) have been successful in many fields, and derived various researches and applications in real industries. However, in some privacy sensitive scenarios (like finance, healthcare), training a GNN model centrally faces challenges due to the distributed data silos. Federated learning (FL) is a an emerging technique that can collaboratively train a shared model while keeping the data decentralized, which is a rational solution for distributed GNN training. We term it as federated graph learning (FGL). Although FGL has received increasing attention recently, the definition and challenges of FGL is still up in the air. In this position paper, we present a categorization to clarify it. Considering how graph data are distributed among clients, we propose four types of FGL: inter-graph FL, intra-graph FL and graph-structured FL, where intra-graph is further divided into horizontal and vertical FGL. For each type of FGL, we make a detailed discussion about the formulation and applications, and propose some potential challenges.

研究动机与目标

• 通过基于数据分布模式定义其核心类型，厘清联邦图学习（Federated Graph Learning, FGL）这一新兴领域的本质。
• 解决在医疗、金融等数据隔离的隐私敏感领域中训练图神经网络（GNNs）的挑战。
• 识别并分析FGL中独有的关键挑战，包括非独立同分布（Non-IID）图结构、子图孤立性以及安全实体匹配问题。
• 强调缺乏标准化数据集以及高通信与内存开销是制约FGL发展的关键障碍。
• 提出克服上述挑战的研究方向，包括模型压缩与安全聚合技术。

提出的方法

• 基于数据分布粒度，提出FGL的四层分类体系：跨图联邦学习、图内联邦学习（水平与垂直）、图结构联邦学习。
• 采用图卷积网络（GCN）与消息传递神经网络（MPNN）框架作为基础GNN形式化表达，使用 $ x^l_i = \gamma^l(x^{l-1}_i, \text{Aggr}^l_{j\in\mathcal{N}_i} \phi^l(x^{l-1}_i, x^{l-1}_j, a_{ij})) $ 表达消息传递机制。
• 采用FedAvg作为标准联邦学习聚合机制，实现客户端模型更新而无需共享原始数据。
• 在跨图联邦学习中引入图级任务（如分子性质预测），在图内联邦学习中引入节点级任务。
• 提出同态加密等安全方法，用于垂直图内联邦学习中的实体匹配，以保护隐私。
• 建议采用量化、剪枝与知识蒸馏等模型压缩技术，以降低FGL中的通信与内存开销。

实验结果

研究问题

• RQ1 如何根据客户端之间图数据的分布方式，对联邦图学习进行形式化分类？
• RQ2 与传统联邦学习相比，FGL在图结构化数据中面临哪些独特挑战？
• RQ3 图结构的非独立同分布特性（如度分布、聚类系数差异）如何影响FGL中模型的收敛性与性能？
• RQ4 在水平划分的子图中，如何重建或推断缺失的高阶邻域信息？
• RQ5 在垂直图内联邦学习中，如何在不损害数据隐私的前提下实现安全且准确的实体匹配？

主要发现

• 本文建立了FGL的正式四类分类体系——跨图联邦学习、水平图内联邦学习、垂直图内联邦学习与图结构联邦学习，为一个碎片化的研究领域提供了清晰分类框架。
• 非独立同分布（Non-IID）图结构，包括度分布与聚类系数的差异，对FGL中的模型收敛性与准确性构成重大挑战，目前尚无完全解决方案。
• 在水平图内联邦学习中，具有有限直径的孤立子图严重限制了GCN中的消息传递，极端情况下可能导致性能退化至简单多层感知机（MLP）水平。
• 在垂直图内联邦学习中，安全实体匹配问题仍未解决，现有方法或损害隐私，或缺乏可扩展性与准确性。
• 缺乏真实、标准化的图数据集用于图内联邦学习，严重阻碍了可复现的研究与模型评估，尤其是在模拟现实世界子图划分场景时。
• 通信与内存开销仍是FGL中的关键瓶颈，尤其在推荐系统等大规模应用场景中，模型参数随用户/项目数量增长而显著增加。