[论文解读] GAP: Differentially Private Graph Neural Networks with Aggregation Perturbation

Sina Sajadmanesh, Ali Shahin Shamsabadi+2 more|arXiv (Cornell University)|Mar 2, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文提出GAP，一种通过聚合扰动实现边级和节点级差分隐私的差分隐私图神经网络——直接在GNN的消息传递聚合过程中添加噪声。该方法在训练和推理过程中均保证隐私，且无需额外开销，仅需分配隐私预算，同时支持多跳邻域学习，其性能优于当前最先进的DP-GNN方法。

ABSTRACT

In this paper, we study the problem of learning Graph Neural Networks (GNNs) with Differential Privacy (DP). We propose a novel differentially private GNN based on Aggregation Perturbation (GAP), which adds stochastic noise to the GNN's aggregation function to statistically obfuscate the presence of a single edge (edge-level privacy) or a single node and all its adjacent edges (node-level privacy). Tailored to the specifics of private learning, GAP's new architecture is composed of three separate modules: (i) the encoder module, where we learn private node embeddings without relying on the edge information; (ii) the aggregation module, where we compute noisy aggregated node embeddings based on the graph structure; and (iii) the classification module, where we train a neural network on the private aggregations for node classification without further querying the graph edges. GAP's major advantage over previous approaches is that it can benefit from multi-hop neighborhood aggregations, and guarantees both edge-level and node-level DP not only for training, but also at inference with no additional costs beyond the training's privacy budget. We analyze GAP's formal privacy guarantees using Rényi DP and conduct empirical experiments over three real-world graph datasets. We demonstrate that GAP offers significantly better accuracy-privacy trade-offs than state-of-the-art DP-GNN approaches and naive MLP-based baselines. Our code is publicly available at https://github.com/sisaman/GAP.

研究动机与目标

• 为解决在图神经网络中保护敏感图结构的挑战，特别是针对差分隐私（DP）场景。
• 确保图神经网络在训练和推理过程中均实现隐私保护，防止通过邻域聚合导致的模型查询信息泄露。
• 设计一种图神经网络架构，在满足正式差分隐私保证的前提下，通过多跳聚合保持强大的表征能力。
• 克服标准DP方法（如DP-SGD）在图神经网络中失效的局限性，后者因图结构数据的依赖关系而难以适用。

提出的方法

• GAP提出一种三模块架构：编码器在不使用边信息的情况下学习私有节点嵌入。
• 聚合模块对节点嵌入的噪声聚合应用高斯机制，根据聚合函数的敏感度，确保边级或节点级差分隐私。
• 分类模块在私有聚合结果上训练神经网络，不访问原始图结构，从而保持隐私。
• 为实现节点级隐私，引入度数上限 $ D $ 以控制敏感度并减少噪声影响。
• 采用Rényi差分隐私进行正式隐私分析，支持多层之间的更紧致隐私会计计算。
• 该架构设计确保推理过程中隐私性：预测结果仅依赖于私有聚合结果，而非原始图数据。

实验结果

研究问题

• RQ1 能否设计一种图神经网络架构，使边级和节点级差分隐私在训练和推理过程中均得到保障？
• RQ2 如何在不损害隐私的前提下，有效利用差分隐私图神经网络中的多跳邻域信息？
• RQ3 在差分隐私图神经网络中，跳数 $ K $ 的数量对隐私-准确率权衡有何影响？
• RQ4 度数上限 $ D $ 的选择如何影响在不同隐私预算下节点级私有图神经网络的性能？
• RQ5 与现有DP-GNN方法相比，聚合扰动能否在真实图数据集上实现更优的准确率-隐私权衡？

主要发现

• 在三个真实图数据集上，GAP在准确率-隐私权衡方面显著优于当前最先进的DP-GNN方法和朴素MLP基线模型。
• 模型准确率随跳数 $ K $ 增加而提升，但在低隐私预算下因噪声影响，峰值出现在较小的 $ K $ 值；在高预算下，更大的 $ K $ 值能带来性能增益。
• 对于节点级隐私，准确率随度数上限 $ D $ 增加而提升，直至达到最优点，之后因敏感度增加导致噪声增大而性能下降。
• 在Reddit数据集上，准确率随 $ D $ 持续增长；而在Facebook和Amazon数据集上，准确率先上升后下降，反映出信息保留与噪声注入之间的权衡。
• 隐私预算具有显著影响：更高的 $ \epsilon $ 值允许更大的 $ K $ 和 $ D $，从而带来更好的性能表现。
• 该方法实现了端到端隐私保护——训练和推理过程均为差分隐私，且除初始隐私预算分配外无额外开销。