[论文解读] A Vertical Federated Learning Framework for Graph Convolutional Network

Xiang Ni, Xiaolong Xu+3 more|arXiv (Cornell University)|Jun 22, 2021

Privacy-Preserving Technologies in Data参考文献 23被引用 26

一句话总结

FedVGCN 通过同态加法加密实现用于图卷积网络的隐私保护纵向联邦学习，在基准数据上接近集中式性能的 GraphSAGE。

ABSTRACT

Recently, Graph Neural Network (GNN) has achieved remarkable success in various real-world problems on graph data. However in most industries, data exists in the form of isolated islands and the data privacy and security is also an important issue. In this paper, we propose FedVGCN, a federated GCN learning paradigm for privacy-preserving node classification task under data vertically partitioned setting, which can be generalized to existing GCN models. Specifically, we split the computation graph data into two parts. For each iteration of the training process, the two parties transfer intermediate results to each other under homomorphic encryption. We conduct experiments on benchmark data and the results demonstrate the effectiveness of FedVGCN in the case of GraphSage.

研究动机与目标

• 在图数据在不同实体之间纵向分割时，推动隐私感知的学习。
• 提出 FedVGCN 框架，在不共享原始特征或边的情况下训练基于 GCN 的模型。
• 证明加法同态加密在保护数据隐私的同时能保持准确性。
• 证明 FedVGCN 的性能优于单独数据基线，且接近集中明文数据的性能。

提出的方法

• 在纵向 FL 设置中将图数据拆分为两个持有特征的方。
• 在前向和反向传播中使用加法同态加密（Paillier）交换加密的中间结果。
• 用二次正交多项式近似 ReLU 以保持同态加法和乘法。
• 对损失和梯度计算应用二阶泰勒近似，以实现加密运算。
• 在训练前利用私有集合交集（PSI）进行初始 ID 对齐。
• 在 GraphSAGE 扩展上评估，损失为受图上负采样启发的无监督损失。

实验结果

研究问题

• RQ1 当数据纵向划分时，FedVGCN 能否相比独立训练的图提升节点分类准确率？
• RQ2 FedVGCN 能在多接近于在组合明文数据上训练的集中模型？
• RQ3 在纵向 GNN 训练中使用 Paillier HE 与多项式激活对隐私和准确性有何影响？

主要发现

数据集	GraphSage_A	GraphSage_B	FedVGraphSage	GraphSage_A+B
Cora	0.5222	0.4867	0.6770	0.7080
Pubmed	0.6936	0.6801	0.7830	0.7890
Citeseer	0.4630	0.5510	0.6820	0.6983

• FedVGraphSage 在 Cora、PubMed、Citeseer 上始终优于在分离特征/边数据上训练的 GraphSage 模型。
• FedVGraphSage 的准确率接近在组合明文数据上训练的 GraphSage（例如 Cora 为 0.6770 vs 0.7080；PubMed 为 0.7830 vs 0.7890；Citeseer 为 0.6820 vs 0.6983）。
• 加法同态加密实现中间结果的隐私保护通信，而不暴露原始数据。
• 二次多项式激活使密文友好计算，在加密下保持求和和乘法。
• 该框架在假设服务器和客户端不串通的前提下提供隐私保证，安全性基于已建立的标量乘积协议。