[论文解读] Federated Heterogeneous Graph Neural Network for Privacy-preserving Recommendation

Bo Yan, Yang Cao+4 more|arXiv (Cornell University)|Oct 18, 2023

Recommender Systems and Techniques被引用 4

一句话总结

本文提出 FedHGNN，一种用于隐私保护推荐的联邦异构图神经网络，通过将用户-物品交互划分为私有和共享的异构信息网络（HINs）来实现。该方法提出一种语义保持的用户交互发布机制，具备差分隐私保障，支持协作训练，同时保护用户隐私和高阶模式，在 ε=1 的隐私预算下，HR@10 最高提升 34%，NDCG@10 最高提升 42%。

ABSTRACT

The heterogeneous information network (HIN), which contains rich semantics depicted by meta-paths, has emerged as a potent tool for mitigating data sparsity in recommender systems. Existing HIN-based recommender systems operate under the assumption of centralized storage and model training. However, real-world data is often distributed due to privacy concerns, leading to the semantic broken issue within HINs and consequent failures in centralized HIN-based recommendations. In this paper, we suggest the HIN is partitioned into private HINs stored on the client side and shared HINs on the server. Following this setting, we propose a federated heterogeneous graph neural network (FedHGNN) based framework, which facilitates collaborative training of a recommendation model using distributed HINs while protecting user privacy. Specifically, we first formalize the privacy definition for HIN-based federated recommendation (FedRec) in the light of differential privacy, with the goal of protecting user-item interactions within private HIN as well as users' high-order patterns from shared HINs. To recover the broken meta-path based semantics and ensure proposed privacy measures, we elaborately design a semantic-preserving user interactions publishing method, which locally perturbs user's high-order patterns and related user-item interactions for publishing. Subsequently, we introduce an HGNN model for recommendation, which conducts node- and semantic-level aggregations to capture recovered semantics. Extensive experiments on four datasets demonstrate that our model outperforms existing methods by a substantial margin (up to 34% in HR@10 and 42% in NDCG@10) under a reasonable privacy budget.

研究动机与目标

• 解决集中式基于 HIN 的推荐系统中存在的数据稀疏性和隐私泄露问题。
• 使用差分隐私形式化定义基于 HIN 的联邦推荐的隐私保护机制。
• 设计一种语义保持的用户交互发布机制，以同时保护用户-物品交互和高阶用户模式。
• 开发一种联邦异构 GNN 框架（FedHGNN），以从分布式 HIN 中恢复断裂的元路径语义。
• 在强隐私保障下实现高性能推荐，尤其适用于去中心化、隐私敏感的环境。

提出的方法

• 该框架将 HIN 划分为客户端的私有 HIN 和服务器端的共享 HIN，实现去中心化数据存储。
• 提出一种两阶段扰动机制：首先，使用基于相似度的 EM 方法对用户高阶模式进行扰动，以保持语义结构；其次，通过度保持机制（SDPRR）对用户-物品交互进行扰动，以维持图结构。
• 提出一种新颖的语义保持发布方法，确保扰动后的用户交互仍保留有意义的模式，同时满足 (ε₁, ε₂)-差分隐私。
• FedHGNN 在异构 GNN 中采用节点级和语义级聚合，从分布式 HIN 中恢复基于元路径的语义。
• 模型采用两阶段训练过程：在客户端对私有 HIN 进行本地 GNN 训练，在服务器端进行全局聚合，同时保护梯度和嵌入。
• 设计了一种基于相似度的期望最大化（EM）算法，以在第一阶段扰动过程中最大化高阶用户模式的保留。

实验结果

研究问题

• RQ1 如何在基于 HIN 的联邦推荐系统中，使用差分隐私正式定义并保障隐私？
• RQ2 当用户数据分布且为隐私目的被扰动时，应采用何种机制来保持用户交互的语义结构？
• RQ3 在 HIN 被拆分到客户端和服务器的联邦设置中，如何恢复基于元路径的语义？
• RQ4 基于 HIN 的联邦推荐中，效用与隐私之间的权衡关系如何？应如何优化？
• RQ5 与仅使用随机扰动或度保持扰动相比，语义保持扰动在多大程度上能提升推荐性能？

主要发现

• 在 ε=1 的隐私预算下，FedHGNN 的 HR@10 最高比最先进基线提升 34%，NDCG@10 最高提升 42%。
• 语义保持扰动方法（SDPRR）显著优于随机扰动（RR）和度保持随机扰动（DPRR），证明了同时保留度和特征结构的重要性。
• 随着共享 HIN 数量（n）增加至 n=20，性能持续提升，之后因隐私强度降低，效用增益趋于平稳或略有下降。
• 对用户高阶模式采用更高的隐私预算 ε₁ 可提升推荐性能，证实其在建模中的关键作用。
• 适度的第二阶段扰动（ε₂=1）可提升性能，表明适量噪声有助于泛化，但过度噪声会降低效用。
• 该模型甚至优于 +ESDPRR* 基线，表明扰动后保持交互多样性对性能至关重要。