[论文解读] FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation

Chuhan Wu, Fangzhao Wu+3 more|arXiv (Cornell University)|Feb 9, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用 131

一句话总结

FedGNN 在隐私保护的联邦设置中训练基于 GNN 的推荐，使用本地差分隐私、伪 interacted items 以及隐私保护的图扩展以利用高阶的用户-物品交互。

ABSTRACT

Graph neural network (GNN) is widely used for recommendation to model high-order interactions between users and items. Existing GNN-based recommendation methods rely on centralized storage of user-item graphs and centralized model learning. However, user data is privacy-sensitive, and the centralized storage of user-item graphs may arouse privacy concerns and risk. In this paper, we propose a federated framework for privacy-preserving GNN-based recommendation, which can collectively train GNN models from decentralized user data and meanwhile exploit high-order user-item interaction information with privacy well protected. In our method, we locally train GNN model in each user client based on the user-item graph inferred from the local user-item interaction data. Each client uploads the local gradients of GNN to a server for aggregation, which are further sent to user clients for updating local GNN models. Since local gradients may contain private information, we apply local differential privacy techniques to the local gradients to protect user privacy. In addition, in order to protect the items that users have interactions with, we propose to incorporate randomly sampled items as pseudo interacted items for anonymity. To incorporate high-order user-item interactions, we propose a user-item graph expansion method that can find neighboring users with co-interacted items and exchange their embeddings for expanding the local user-item graphs in a privacy-preserving way. Extensive experiments on six benchmark datasets validate that our approach can achieve competitive results with existing centralized GNN-based recommendation methods and meanwhile effectively protect user privacy.

研究动机与目标

• 在基于 GNN 的推荐中，动机聚焦于集中化的用户-物品图带来的隐私问题。
• 提出 FedGNN，以便从去中心化的用户数据实现联邦、隐私保护的训练。
• 在不泄露私人数据的前提下，实现对高阶用户-物品交互的建模。
• 在保护用户隐私的同时，展示在与集中式 GNN 方法的竞争力。

提出的方法

• 每个用户设备从其推断的用户-物品子图中学习嵌入和本地 GNN。
• 梯度（模型和嵌入）上传到服务器并通过 FedAvg 汇总以进行全局更新。
• 两种隐私机制：伪互动项采样将来自未互动项的梯度加入以隐藏真实交互；本地差分隐私向梯度添加拉普拉斯噪声。
• 隐私保护的图扩展使用具同态加密的第三方服务器来寻找匿名的邻居用户并在不暴露物品 ID 的情况下丰富本地图。
• 在 FedGNN 中可以使用任意 GNN 架构（GCN、GGNN、GAT）；评分预测器使用点积来预测评分。

实验结果

研究问题

• RQ1 FedGNN 能否在完全去中心化的设置中，在不共享原始的用户-物品数据的情况下学习到有效的基于 GNN 的推荐？
• RQ2 如何在隐私保护下利用高阶用户-物品交互来提升推荐？
• RQ3 在联邦 GNN 训练中使用本地 DP 和伪互动项采样时，隐私与效用之间的权衡是什么？
• RQ4 在标准数据集上，FedGNN 与集中式基于 GNN 的方法和其他隐私保护基线相比如何？

主要发现

方法	Flixster RMSE	Douban RMSE	Yahoo RMSE	ML-100K RMSE	ML-1M RMSE	ML-10M RMSE
PMF	1.375	0.886	26.6	0.965	0.883	0.856
SVD++	1.155	0.869	24.4	0.952	0.860	0.834
GRALS	1.313	0.833	38.0	0.934	0.849	0.808
sRGCNN	1.179	0.801	22.4	0.922	0.837	0.789
GC-MC	0.941	0.734	20.5	0.905	0.832	0.777
PinSage	0.945	0.732	21.0	0.914	0.840	0.790
NGCF	0.954	0.742	20.9	0.916	0.833	0.779
FCF	1.064	0.823	22.9	0.957	0.874	0.847
FedMF	1.059	0.817	22.2	0.948	0.872	0.841
FedGNN	0.989	0.790	21.1	0.920	0.848	0.803

• FedGNN 在六个基准数据集上实现了与集中式基于 GNN 的方法相竞争的 RMSE。
• 通过隐私保护的扩展引入高阶用户-物品交互提升了推荐性能。
• FedGNN 的表现优于不利用高阶信息的隐私保护基线（如 FCF、FedMF）。
• 本地 DP 和伪项采样在可控的精度权衡下提供隐私保护，在选定设置下实现了 1-差分隐私。
• 训练期间固定的邻居嵌入相较于全可训练的邻居嵌入可带来略微的准确度提升。