[论文解读] Adapting Membership Inference Attacks to GNN for Graph Classification: Approaches and Implications

Bang Ye Wu, Xiangwen Yang+2 more|arXiv (Cornell University)|Oct 17, 2021

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出了针对图神经网络（GNNs）图级分类任务的首个成员推理攻击（MIAs），引入了两种攻击类型——基于训练的攻击和基于阈值的攻击，利用模型置信度分数来判断某张完整图是否属于训练集。在大多数真实世界数据集上，该攻击的F1分数均超过0.7，揭示了GNNs相较于非图模型对MIAs更具脆弱性，尤其是在过拟合程度较高时。

ABSTRACT

Graph Neural Networks (GNNs) are widely adopted to analyse non-Euclidean data, such as chemical networks, brain networks, and social networks, modelling complex relationships and interdependency between objects. Recently, Membership Inference Attack (MIA) against GNNs raises severe privacy concerns, where training data can be leaked from trained GNN models. However, prior studies focus on inferring the membership of only the components in a graph, e.g., an individual node or edge. How to infer the membership of an entire graph record is yet to be explored. In this paper, we take the first step in MIA against GNNs for graph-level classification. Our objective is to infer whether a graph sample has been used for training a GNN model. We present and implement two types of attacks, i.e., training-based attacks and threshold-based attacks from different adversarial capabilities. We perform comprehensive experiments to evaluate our attacks in seven real-world datasets using five representative GNN models. Both our attacks are shown effective and can achieve high performance, i.e., reaching over 0.7 attack F1 scores in most cases. Furthermore, we analyse the implications behind the MIA against GNNs. Our findings confirm that GNNs can be even more vulnerable to MIA than the models with non-graph structures. And unlike the node-level classifier, MIAs on graph-level classification tasks are more co-related with the overfitting level of GNNs rather than the statistic property of their training graphs.

研究动机与目标

• 填补图级GNNs中成员推理攻击（MIAs）的研究空白，此前的研究仅针对节点或边。
• 探究是否可以推断出整个图记录（即整张图作为训练样本）是否属于训练集。
• 评估MIAs在图分类任务中针对GNNs的有效性及其影响因素。
• 检验MIAs在不同GNN架构和数据集之间的可迁移性。
• 理解模型过拟合与图级属性如何影响MIAs的成功率。

提出的方法

• 提出两种攻击变体：基于训练的攻击，通过在影子模型生成的置信度分数上训练二分类器；基于阈值的攻击，使用固定的置信度分数阈值。
• 将目标GNN模型输出的置信度分数（后验概率）作为攻击分类器或阈值机制的输入。
• 在模拟目标数据分布的合成数据集上训练影子模型，以生成攻击训练数据。
• 应用迁移学习与跨模型评估，测试攻击在不同GNN架构和数据集上的泛化能力。
• 使用Spearman等级相关系数分析数据集/图属性与攻击性能之间的关系。
• 在七个真实世界数据集上，使用五种代表性GNN模型（如GCN、GIN、GraphSAGE）评估攻击效果。

实验结果

研究问题

• RQ1 能否有效将成员推理攻击适配到图级GNN分类任务中，即判断某张完整图是否属于训练集？
• RQ2 模型过拟合程度与图级数据属性（如平均度数、类别数等）如何影响GNNs上MIAs的成功率？
• RQ3 GNNs上的MIAs在多大程度上可迁移至不同GNN架构和数据集？
• RQ4 图级MIAs与节点级MIAs在影响因素方面的性能特征有何差异？
• RQ5 GNNs中导致高精度成员推理攻击的关键脆弱点是什么？

主要发现

• 所提出的基于训练和基于阈值的MIAs在七个真实世界数据集中的大多数上实现了超过0.7的F1分数，证明了攻击的高有效性。
• 过拟合程度（通过训练集与测试集准确率差距衡量）是图级GNNs中MIA成功最强有力的预测因子，过拟合越高，攻击性能显著提升。
• 在平均节点度数较高的数据集上训练的GNNs对MIAs更脆弱，可能是因为其在成员预测上表现出更高的置信度。
• 图级MIAs与模型过拟合的相关性远强于与图结构属性的相关性，这与依赖局部图拓扑的节点级MIAs形成对比。
• 即使目标GNN架构未知，攻击仍保持有效性，表明其在不同GNN类型间具有强可迁移性。
• 图级GNNs上的MIAs比在非图深度神经网络（DNNs）上更有效，表明GNNs可能在本质上对成员信息泄露更具敏感性。