[论文解读] Degree-Preserving Randomized Response for Graph Neural Networks under Local Differential Privacy

Seira Hidano, Takao Murakami|arXiv (Cornell University)|Feb 21, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种新型的局部差分隐私（LDP）机制——度保持随机响应（DPRR），用于图神经网络（GNNs），在保护未标注图中边的隐私的同时，保持每个节点的度不变。通过结合Warner的随机响应与基于拉普拉斯机制的度估计方法，并采用自适应边采样策略，DPRR在ε=1时实现了接近非私有模型的图分类准确率，显著优于基线方法，在准确率和效率方面均有大幅提升。

ABSTRACT

Differentially private GNNs (Graph Neural Networks) have been recently studied to provide high accuracy in various tasks on graph data while strongly protecting user privacy. In particular, a recent study proposes an algorithm to protect each user's feature vector in an attributed graph, which includes feature vectors along with node IDs and edges, with LDP (Local Differential Privacy), a strong privacy notion without a trusted third party. However, this algorithm does not protect edges (friendships) in a social graph, hence cannot protect user privacy in unattributed graphs, which include only node IDs and edges. How to provide strong privacy with high accuracy in unattributed graphs remains open. In this paper, we propose a novel LDP algorithm called the DPRR (Degree-Preserving Randomized Response) to provide LDP for edges in GNNs. Our DPRR preserves each user's degree hence a graph structure while providing edge LDP. Technically, our DPRR uses Warner's RR (Randomized Response) and strategic edge sampling, where each user's sampling probability is automatically tuned using the Laplacian mechanism to preserve the degree information under edge LDP. We also propose a privacy budget allocation method to make the noise in both Warner's RR and the Laplacian mechanism small. We focus on graph classification as a task of GNNs and evaluate the DPRR using three social graph datasets. Our experimental results show that the DPRR significantly outperforms three baselines and provides accuracy close to a non-private algorithm in all datasets with a reasonable privacy budget, e.g., epsilon=1. Finally, we introduce data poisoning attacks to our DPRR and a defense against the attacks. We evaluate them using the three social graph datasets and discuss the experimental results.

研究动机与目标

• 解决在局部差分隐私（LDP）下，未标注图中边缺乏强隐私保护的问题。
• 在GNNs中保护边的LDP隐私的同时，保持图结构属性（特别是节点度）不变。
• 开发一种高效且准确的LDP机制，使其在图分类任务中显著优于现有基线方法。
• 实现LDP在无可信第三方的去中心化社交网络中的实际部署。

提出的方法

• 提出DPRR，一种两阶段LDP机制：首先使用拉普拉斯机制向每个节点的真实度添加噪声，然后根据噪声度调整Warner随机响应的采样概率。
• 利用后处理不变性，确保最终的边采样步骤保持整体LDP保证。
• 应用LDP的序列组合：拉普拉斯机制提供ε₁-边LDP，Warner的随机响应提供ε₂-边LDP，总隐私预算为(ε₁+ε₂)-边LDP。
• 引入隐私预算分配策略，以最小化度估计与边翻转组件中的噪声。
• 采用自适应边采样，每个用户根据其噪声度按比例采样邻居，从而保留结构信息。
• 将DPRR与现有的特征向量LDP方法结合，支持在属性图中联合保护边与属性。

实验结果

研究问题

• RQ1 我们能否设计一种LDP机制，在未标注图中保护边隐私的同时保持节点度不变？
• RQ2 在小隐私预算（如ε=1）下，如何在保持强隐私保证的同时实现GNN的高分类准确率？
• RQ3 与现有LDP基线（如随机响应和LocalLap）相比，DPRR在图分类任务中是否更具效率和准确性？
• RQ4 与破坏图结构的方法相比，保持节点度是否能带来更好的模型性能？

主要发现

• 在所有三个社交图数据集上，DPRR在ε=1时的图分类准确率与非私有基线模型相差不超过2.5%。
• DPRR在分类准确率上显著优于三种基线方法（RR、LocalLap和NonPriv-Part），尤其在自定义设置下表现突出。
• 对于包含40,000个节点、每节点5条边的图，DPRR的训练时间约为4小时，而RR基线的训练时间约为21天。
• DPRR以高保真度保持了节点度，而RR和LocalLap则扭曲了度分布，这解释了性能差距。
• 在未标注图中，度分布对GNN性能至关重要，而DPRR能有效保持该分布。
• DPRR具有高度效率，相比RR显著减少了内存占用与运行时间，使其适用于大规模去中心化SNS。