[论文解读] Differentially Private Graph Classification with GNNs

Tamara T. Mueller, Johannes C. Paetzold+4 more|arXiv (Cornell University)|Feb 5, 2022

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本文提出了一种使用 DP-SGD 的差分隐私图神经网络（GNN）训练方法，用于图级别分类，实现了对敏感图结构数据（如医疗记录）的正式隐私保障。结果表明，DP-GNN 在保持高实用性的同时，学习到的表征与非私有模型相似，且隐私-准确率权衡可通过隐私预算 ε 进行控制。

ABSTRACT

Graph Neural Networks (GNNs) have established themselves as the state-of-the-art models for many machine learning applications such as the analysis of social networks, protein interactions and molecules. Several among these datasets contain privacy-sensitive data. Machine learning with differential privacy is a promising technique to allow deriving insight from sensitive data while offering formal guarantees of privacy protection. However, the differentially private training of GNNs has so far remained under-explored due to the challenges presented by the intrinsic structural connectivity of graphs. In this work, we introduce differential privacy for graph-level classification, one of the key applications of machine learning on graphs. Our method is applicable to deep learning on multi-graph datasets and relies on differentially private stochastic gradient descent (DP-SGD). We show results on a variety of synthetic and public datasets and evaluate the impact of different GNN architectures and training hyperparameters on model performance for differentially private graph classification. Finally, we apply explainability techniques to assess whether similar representations are learned in the private and non-private settings and establish robust baselines for future work in this area.

研究动机与目标

• 为解决图机器学习中缺乏正式隐私保护的问题，特别是针对敏感的医疗和生物数据。
• 将差分隐私随机梯度下降（DP-SGD）适配至图神经网络，用于图级别分类任务。
• 评估 GNN 架构与超参数选择对差分隐私下性能的影响。
• 通过可解释性技术评估私有模型是否学习到与非私有模型相似且有意义的表征。
• 为未来在隐私保护图学习领域的研究建立稳健基线。

提出的方法

• 在多图数据集上应用差分隐私随机梯度下降（DP-SGD）训练 GNN，采用梯度裁剪与高斯噪声注入。
• 使用图构建方法将输入数据（如指纹图像、心电图信号）转换为图表示。
• 采用标准 GNN 架构（GCN、GraphSAGE、GAT）完成图级别分类任务。
• 应用 GNNExplainer 技术比较非私有与差分隐私模型之间的边级重要性。
• 通过解释边上的交并比（IoU）分数量化表征相似性。
• 在多种合成与真实世界数据集上，针对不同的隐私预算 ε 评估模型性能。

实验结果

研究问题

• RQ1 DP-SGD 是否能有效应用于 GNN 的图分类训练，同时保持模型实用性？
• RQ2 GNN 架构的选择如何影响差分隐私下的性能表现？
• RQ3 差分隐私 GNN 在多大程度上学习到与非私有模型相似的表征？
• RQ4 隐私预算 ε 如何影响隐私与模型准确率之间的权衡？
• RQ5 差分隐私对 GNN 的可解释性及边级注意力机制有何影响？

主要发现

• DP-GNN 在基准数据集与真实世界数据集上均表现出高实用性，且随着 ε 减小，隐私-准确率权衡关系清晰可见。
• 当 ε = 0.5 时，模型准确率仅相比非私有基线略有下降，表明在严格隐私约束下仍具备强大性能。
• GNNExplainer 显示，私有与非私有模型学习到的边级表征高度相似，即使在 ε = 0.5 时 IoU 分数依然保持较高水平。
• 随着隐私要求提高（ε 更小），IoU 分数略有下降，表明过多噪声最终会阻碍表征学习。
• 结果表明，DP-GNN 保持了强大的归纳偏置，适用于医疗图分析等隐私敏感场景。
• 本研究为未来在差分隐私图学习领域的工作建立了稳健基线，尤其适用于医疗与生物数据场景。