[论文解读] Heterogeneous Graph Neural Network for Privacy-Preserving Recommendation

Yuecen Wei, Xingcheng Fu+5 more|arXiv (Cornell University)|Oct 2, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出 HeteDP，一种异构图神经网络框架，通过差分隐私保护推荐系统中的节点特征与拓扑结构。通过采用基于梯度扰动和双层优化的隐私预算分配的两阶段流程，HeteDP 在四个公开基准数据集上有效抵抗推理攻击，同时保持了强大的模型性能。

ABSTRACT

Social networks are considered to be heterogeneous graph neural networks (HGNNs) with deep learning technological advances. HGNNs, compared to homogeneous data, absorb various aspects of information about individuals in the training stage. That means more information has been covered in the learning result, especially sensitive information. However, the privacy-preserving methods on homogeneous graphs only preserve the same type of node attributes or relationships, which cannot effectively work on heterogeneous graphs due to the complexity. To address this issue, we propose a novel heterogeneous graph neural network privacy-preserving method based on a differential privacy mechanism named HeteDP, which provides a double guarantee on graph features and topology. In particular, we first define a new attack scheme to reveal privacy leakage in the heterogeneous graphs. Specifically, we design a two-stage pipeline framework, which includes the privacy-preserving feature encoder and the heterogeneous link reconstructor with gradients perturbation based on differential privacy to tolerate data diversity and against the attack. To better control the noise and promote model performance, we utilize a bi-level optimization pattern to allocate a suitable privacy budget for the above two modules. Our experiments on four public benchmarks show that the HeteDP method is equipped to resist heterogeneous graph privacy leakage with admirable model generalization.

研究动机与目标

• 解决推荐系统中异构图的隐私泄露问题，现有同构图隐私方法因多类型节点与复杂关系而失效。
• 设计一种双重隐私保障机制，保护节点特征与图拓扑结构，防止推理攻击。
• 优化特征与拓扑扰动之间的隐私预算分配，以在模型性能与隐私保护之间取得平衡。
• 在具有严格隐私与效用度量的真实异构图基准上，评估所提方法的有效性。

提出的方法

• 提出两阶段流程：基于差分隐私的梯度扰动，包含一个隐私保护的特征编码器与一个异构链接重构器。
• 提出一种新颖的攻击方案，暴露异构图中的隐私泄露，验证多级保护的必要性。
• 采用高斯噪声实施差分隐私，对节点特征与拓扑结构同时扰动，确保 (ε, δ)-差分隐私。
• 采用双层优化框架，动态分配特征与拓扑模块之间的隐私预算，最小化性能下降。
• 使用多关系卷积层，学习异构信息网络（HINs）中多样化节点与边类型之间的表示。
• 采用 t-SNE 可视化，证明扰动后不同类型节点之间的聚类间隙减小，确认在不损失效用的前提下实现了有效的特征保护。

实验结果

研究问题

• RQ1 隐私保护框架能否有效保护异构图中的节点特征与拓扑结构？
• RQ2 所提出的 HeteDP 方法如何抵抗利用多类型节点关系与语义依赖的推理攻击？
• RQ3 在最大化模型效用的同时确保强隐私保障的前提下，特征与拓扑扰动之间隐私预算的最优分配策略是什么？
• RQ4 与均匀预算分配相比，双层优化策略如何提升模型性能？
• RQ5 该模型在具有不同数据分布的多样化异构图基准上，其泛化能力如何？

主要发现

• HeteDP 通过同时扰动节点特征与拓扑结构，实现了强大的隐私保护，有效抵抗了对异构图的推理攻击。
• 隐私预算分配的双层优化策略相比均匀分配，显著提升了模型性能，链路预测任务的 ROC-AUC 分数得到改善。
• 在 ACM 数据集上，当 ε = 1 时，模型的链路预测 ROC-AUC 分数接近 80%，表明在中等隐私预算下仍具备高模型效用。
• 敏感性分析表明，不同数据集对隐私预算 ε 的敏感度不同，ACM 比 IMDB 更为敏感，凸显了数据集特定调优的必要性。
• t-SNE 可视化结果表明，HeteDP 在扰动后减小了不同类型节点之间的聚类间隙，表明在保留结构效用的同时实现了有效的特征保护。
• 在四个公开基准（ACM、IMDB、DBLP 及另一数据集）上的全面实验验证了 HeteDP 在隐私保护推荐中的鲁棒性、泛化能力与有效性。