[论文解读] Information Obfuscation of Graph Neural Networks

Peiyuan Liao, Han Zhao+5 more|arXiv (Cornell University)|Sep 28, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用 8

一句话总结

本文提出图对抗网络（GAL），一种极小极大框架，通过使用总变差和Wasserstein距离进行对抗训练，对图神经网络中的推理攻击实现敏感属性混淆，从而提供强大的隐私保护，同时性能损失极小——在Movielens-1M数据集上将性别属性推理AUC降低10%，同时仅造成3%的任务准确率损失。

ABSTRACT

While the advent of Graph Neural Networks (GNNs) has greatly improved node and graph representation learning in many applications, the neighborhood aggregation scheme exposes additional vulnerabilities to adversaries seeking to extract node-level information about sensitive attributes. In this paper, we study the problem of protecting sensitive attributes by information obfuscation when learning with graph structured data. We propose a framework to locally filter out pre-determined sensitive attributes via adversarial training with the total variation and the Wasserstein distance. Our method creates a strong defense against inference attacks, while only suffering small loss in task performance. Theoretically, we analyze the effectiveness of our framework against a worst-case adversary, and characterize an inherent trade-off between maximizing predictive accuracy and minimizing information leakage. Experiments across multiple datasets from recommender systems, knowledge graphs and quantum chemistry demonstrate that the proposed approach provides a robust defense across various graph structures and tasks, while producing competitive GNN encoders for downstream tasks.

研究动机与目标

• 解决GNN对从嵌入中提取敏感节点属性的推理攻击的脆弱性。
• 开发一种防御机制，在最小化敏感属性信息泄露的同时保持预测实用性。
• 制定一种极小极大训练目标，以模拟最坏情况下的攻击者，提升对节点级和邻域级推理攻击的鲁棒性。
• 量化图结构数据中预测准确率与信息混淆之间的固有权衡。
• 在多种图类型（包括知识图谱、推荐系统和量子化学数据集）上展示方法的鲁棒性。

提出的方法

• 在GNN编码器与模拟的最坏情况攻击者之间构建极小极大博弈，以训练对属性推理鲁棒的表示。
• 使用总变差和Wasserstein距离的对偶公式作为正则化项，以惩罚对敏感属性的信息泄露。
• 训练GNN编码器以最小化任务损失，同时最大化攻击者预测敏感属性的错误率。
• 引入一种蒙特卡洛采样策略，以高效模拟训练过程中的n跳邻域攻击，从而实现对多跳推理攻击的可扩展防御。
• 通过超参数λ优化准确率与混淆之间的权衡，以控制信息过滤的强度。
• 端到端应用该框架，训练出在下游任务中既准确又对属性推理具有抵抗能力的GNN编码器。

实验结果

研究问题

• RQ1 使用最坏情况攻击者的对抗训练是否能有效降低GNN嵌入中敏感属性的信息泄露？
• RQ2 在此框架下，GNN中预测准确率与信息混淆之间的理论权衡是什么？
• RQ3 该方法在面对邻域级或n跳推理攻击时表现如何，其中攻击者可访问远距离邻居的嵌入？
• RQ4 该框架在实现强隐私保证的同时，对下游任务的实用性保持程度如何？
• RQ5 该方法在具有复杂结构和多样化数据类型的大型图上扩展性如何？

主要发现

• 所提出的GAL框架在Movielens-1M数据集上将性别属性攻击者的AUC降低10%，同时仅导致下游任务性能下降3%。
• 该方法为任何最坏情况攻击者提供了推理错误的可证明下界，确保了对属性推理的理论鲁棒性。
• 随着超参数λ的增加，节点级和邻域级攻击者的性能均显著下降，且在低λ值下邻域级混淆效果更优。
• 该框架对n跳攻击仍具有效性，攻击者成功率的性能退化随跳数增加而上升，尽管由于邻居检索中的概率采样存在波动。
• 准确率与混淆之间的权衡与输入特征中目标任务与敏感属性之间的相关性成正比，该结论已通过理论推导得出。
• 在推荐系统、知识图谱和量子化学领域的六个基准数据集上的实验表明，GAL在提供强隐私保障的同时，可生成具有竞争力的GNN编码器。