[论文解读] Inference Attacks Against Graph Neural Networks

Zhikun Zhang, Min Chen+3 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Graph Neural Networks参考文献 64被引用 19

一句话总结

本文通过提出三种推理攻击（属性推理、子图包含检测和图重构）研究图神经网络（GNN）嵌入中的隐私风险。结果表明，图嵌入会泄露大量结构信息——在属性推理中准确率最高达0.89，在子图检测中AUC高达0.98——同时提出一种基于扰动的防御方法，在图分类任务中仅造成轻微性能损失，有效缓解了攻击。

ABSTRACT

Graph is an important data representation ubiquitously existing in the real world. However, analyzing the graph data is computationally difficult due to its non-Euclidean nature. Graph embedding is a powerful tool to solve the graph analytics problem by transforming the graph data into low-dimensional vectors. These vectors could also be shared with third parties to gain additional insights of what is behind the data. While sharing graph embedding is intriguing, the associated privacy risks are unexplored. In this paper, we systematically investigate the information leakage of the graph embedding by mounting three inference attacks. First, we can successfully infer basic graph properties, such as the number of nodes, the number of edges, and graph density, of the target graph with up to 0.89 accuracy. Second, given a subgraph of interest and the graph embedding, we can determine with high confidence that whether the subgraph is contained in the target graph. For instance, we achieve 0.98 attack AUC on the DD dataset. Third, we propose a novel graph reconstruction attack that can reconstruct a graph that has similar graph structural statistics to the target graph. We further propose an effective defense mechanism based on graph embedding perturbation to mitigate the inference attacks without noticeable performance degradation for graph classification tasks. Our code is available at https://github.com/Zhangzhk0819/GNN-Embedding-Leaks.

研究动机与目标

• 调查图嵌入在多大程度上泄露了原始图的结构信息。
• 开发能够从单个嵌入向量中提取基本图属性、子图包含关系并重构完整图的推理攻击。
• 提出一种实用的防御机制，在保持模型效用的同时减轻图嵌入中的隐私泄露。
• 在多种真实世界数据集和GNN架构上评估攻击与防御的有效性。

提出的方法

• 将模型属性推理建模为多任务分类问题，使用深度神经网络从嵌入向量中预测图属性（例如节点数、边数、密度）。
• 设计一种新型图嵌入提取器，融合图嵌入与目标子图的信息，以支持子图包含检测。
• 采用图自编码器框架，结合可学习解码器，从嵌入中重构目标图，以结构相似性为目标进行优化。
• 提出一种基于在共享前向图嵌入中添加校准拉普拉斯噪声的防御机制，以模糊敏感的结构信息。
• 在五个真实世界图数据集上，使用三种最先进的GNN模型（例如GCN、GIN、GraphSAGE）训练并评估攻击与防御模型。
• 开展迁移攻击，以评估当攻击模型与训练模型在架构或采样方法上不同时的鲁棒性。

实验结果

研究问题

• RQ1 攻击者在多大程度上能从单个图嵌入中推断出基本图属性（例如节点数、边数、密度）？
• RQ2 攻击者能否仅凭图嵌入和目标子图，判断该子图是否包含在原始图中？
• RQ3 是否可能仅从单个图嵌入中重构出具有相似结构统计特征（例如度分布、聚类系数）的图？
• RQ4 通过嵌入扰动实现的防御机制在不降低下游任务性能的前提下，对这些推理攻击的缓解效果如何？

主要发现

• 属性推理攻击在DD数据集上最高达到0.89的攻击准确率，表明基本图统计信息存在显著泄露。
• 子图推理攻击在DD数据集上AUC达到0.98，表明对子图包含关系的检测具有高度置信度。
• 图重构攻击生成的图在局部聚类系数分布上的余弦相似度达0.99，且与原始图的同构相似度很高。
• 所提出的基于拉普拉斯噪声扰动的防御机制有效缓解了所有三种推理攻击，同时仅导致图分类准确率轻微下降。
• 迁移攻击在不同GNN架构和采样方法间均成功，表明所提攻击具有鲁棒性和泛化能力。
• 结果表明，尽管图嵌入被压缩为单个向量，但仍会泄露大量结构信息，挑战了通过降维实现隐私保护的假设。