[论文解读] Adversarial Privacy Preserving Graph Embedding against Inference Attack

Kaiyang Li, Guangchun Luo+4 more|arXiv (Cornell University)|Aug 30, 2020

Privacy-Preserving Technologies in Data参考文献 46被引用 4

一句话总结

本文提出对抗隐私图嵌入（Adversarial Privacy Graph Embedding, APGE），一种端到端框架，通过解耦与对抗训练相结合，保护图嵌入中的用户隐私。通过将私有属性与结构表征分离，并利用对抗性优化，APGE 显著降低了推理攻击的成功率，同时在真实世界数据集上的链接预测与节点分类任务中保持了较高的实用性。

ABSTRACT

Recently, the surge in popularity of Internet of Things (IoT), mobile devices, social media, etc. has opened up a large source for graph data. Graph embedding has been proved extremely useful to learn low-dimensional feature representations from graph structured data. These feature representations can be used for a variety of prediction tasks from node classification to link prediction. However, existing graph embedding methods do not consider users' privacy to prevent inference attacks. That is, adversaries can infer users' sensitive information by analyzing node representations learned from graph embedding algorithms. In this paper, we propose Adversarial Privacy Graph Embedding (APGE), a graph adversarial training framework that integrates the disentangling and purging mechanisms to remove users' private information from learned node representations. The proposed method preserves the structural information and utility attributes of a graph while concealing users' private attributes from inference attacks. Extensive experiments on real-world graph datasets demonstrate the superior performance of APGE compared to the state-of-the-arts. Our source code can be found at https://github.com/uJ62JHD/Privacy-Preserving-Social-Network-Embedding.

研究动机与目标

• 解决现有图嵌入方法在面对推理攻击时无法有效保护用户私有属性的显著缺陷。
• 开发一种统一框架，将隐私保护直接集成到图卷积网络（GCNs）中，避免将嵌入与隐私机制解耦。
• 在有效隐藏性别、政治观点或性取向等敏感属性给攻击者的同时，保持结构实用性和分类准确性。
• 克服先前方法依赖图数据预处理或仅扰动属性的局限性，实现在潜在空间中细粒度、基于梯度的隐私保护。

提出的方法

• APGE 采用解耦的潜在空间，利用解耦模块将私有属性与结构表征分离。
• 采用对抗性训练流程，其中判别器尝试从节点嵌入中推断私有属性，从而促使生成器学习生成具有隐私保护特性的表征。
• 框架包含一个扩展层，通过增加潜在空间的维度来提升实用性，同时通过对抗性优化维持隐私性。
• 模型通过联合损失函数进行端到端训练，该损失函数平衡重建损失、解耦损失与对抗损失。
• 通过梯度更新最小化判别器的准确率，从而缓解私有属性的推理攻击，确保敏感信息不会被编码到最终嵌入中。
• 该方法应用于真实世界的社会网络与物联网图数据集，通过推理攻击成功率与下游预测性能评估隐私与实用性。

实验结果

研究问题

• RQ1 统一的图嵌入框架能否在保持结构实用性的同时，有效保护私有属性免受推理攻击？
• RQ2 将私有表征与结构表征解耦，如何在不降低嵌入质量的前提下提升隐私保护？
• RQ3 对抗训练在多大程度上降低了对学习到的节点嵌入中敏感属性的推理攻击成功率？
• RQ4 扩展层在图嵌入中对隐私与实用性之间的权衡产生何种影响？

主要发现

• APGE 显著降低了对政治倾向与性别等敏感属性的推理攻击成功率，优于当前最先进的隐私保护方法。
• 该框架在下游任务中保持了高性能，链接预测准确率与非私有基线方法相当，证明了其强大的实用性保持能力。
• 消融研究显示，移除扩展层仅导致推理准确率轻微下降，表明即使在嵌入维度降低的情况下，隐私保护依然稳健。
• 解耦与对抗训练组件协同增强了隐私保护，多组数据集上的实验结果表明推理攻击准确率显著降低。
• 与依赖预处理或仅扰动属性的先前方法相比，APGE 在隐私-实用性权衡方面表现更优。