[论文解读] DPAR: Decoupled Graph Neural Networks with Node-Level Differential Privacy

Qiuchen Zhang, H. Lee+4 more|arXiv (Cornell University)|Oct 10, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出 DPAR，一种新颖的图神经网络（GNN）训练框架，通过将消息传递与特征聚合解耦，并利用差分隐私个性化 PageRank（DP-APPR）实现严格的节点级差分隐私。该框架结合差分隐私随机梯度下降（DP-SGD），同时保护节点特征与图拓扑，实现在真实世界数据集上高模型效用的同时，提供强大的隐私保障。

ABSTRACT

Graph Neural Networks (GNNs) have achieved great success in learning with graph-structured data. Privacy concerns have also been raised for the trained models which could expose the sensitive information of graphs including both node features and the structure information. In this paper, we aim to achieve node-level differential privacy (DP) for training GNNs so that a node and its edges are protected. Node DP is inherently difficult for GNNs because all direct and multi-hop neighbors participate in the calculation of gradients for each node via layer-wise message passing and there is no bound on how many direct and multi-hop neighbors a node can have, so existing DP methods will result in high privacy cost or poor utility due to high node sensitivity. We propose a Decoupled GNN with Differentially Private Approximate Personalized PageRank (DPAR) for training GNNs with an enhanced privacy-utility tradeoff. The key idea is to decouple the feature projection and message passing via a DP PageRank algorithm which learns the structure information and uses the top-$K$ neighbors determined by the PageRank for feature aggregation. By capturing the most important neighbors for each node and avoiding the layer-wise message passing, it bounds the node sensitivity and achieves improved privacy-utility tradeoff compared to layer-wise perturbation based methods. We theoretically analyze the node DP guarantee for the two processes combined together and empirically demonstrate better utilities of DPAR with the same level of node DP compared with state-of-the-art methods.

研究动机与目标

• 解决 GNN 中训练模型可能泄露节点特征和边的敏感信息这一关键隐私风险。
• 正式建立 GNN 的节点级差分隐私，同时保护节点特征及其连接的边。
• 克服由于节点相关性导致的高敏感性问题，该问题会削弱标准差分隐私方法的效力。
• 设计一种两阶段训练框架，将消息传递与特征聚合解耦，以实现有效的差分隐私应用。
• 在严格的节点级差分隐私保证下，实现 GNN 训练中的强隐私-效用权衡。

提出的方法

• 将 GNN 训练过程分解为两个阶段：通过个性化 PageRank（APPR）进行消息传递，以及使用 DP-SGD 进行特征聚合。
• 提出基于高斯机制和指数机制的差分隐私 APPR 算法，以保护图拓扑信息。
• 在特征聚合阶段应用 DP-SGD，通过梯度裁剪和噪声注入保护节点特征。
• 在 DP-APPR 中使用裁剪边界以控制敏感性，并减少 APPR 向量中的冗余噪声。
• 在统一框架中集成 DP-APPR 与 DP-SGD，确保端到端的节点级差分隐私。
• 分析依赖于 DP-APPR 结果的采样过程导致的隐私衰减，并在 DPGNN 算法中加以缓解。

实验结果

研究问题

• RQ1 我们能否为 GNN 实现严格的节点级差分隐私，同时保护节点特征及其连接的边？
• RQ2 如何将消息传递与特征聚合解耦，以降低敏感性并实现在 GNN 中有效的差分隐私应用？
• RQ3 在真实世界图上应用 DP-APPR 与 DP-SGD 进行 GNN 训练时，隐私-效用权衡如何表现？
• RQ4 DP-APPR 与 DP-SGD 中裁剪边界的选取如何影响模型效用与隐私保障？
• RQ5 我们能否设计一种框架，实现正式的节点级差分隐私，同时不损害下游任务的模型性能？

主要发现

• 所提出的 DPAR 框架通过同时保护 GNN 中的节点特征及其连接边，实现了强大的节点级差分隐私。
• DP-APPR 有效去除了节点相关性并限制了敏感性，使得 DP-SGD 能够在保持有意义效用的前提下应用。
• 在真实世界数据集上的实验表明，DPAR 在严格隐私预算下仍能保持高模型准确率，展现出有利的隐私-效用权衡。
• 在 DP-APPR 中使用裁剪边界（设置为 0.01 和 0.001）减少了冗余噪声，提升了模型性能。
• 使用梯度范数裁剪边界为 1 的 DP-SGD 实现了稳定的优化与有效的隐私保护。
• 该框架是首个正式实现覆盖节点特征与边的 GNN 节点级差分隐私的框架，为私有 GNN 训练设立了新标准。