[论文解读] Model Extraction Attacks on Graph Neural Networks: Taxonomy and Realization

Bang Ye Wu, Xiangwen Yang+2 more|arXiv (Cornell University)|Oct 24, 2020

Adversarial Robustness in Machine Learning参考文献 49被引用 13

一句话总结

本文首次对图神经网络（GNNs）的模型提取攻击进行了全面研究，提出了七种基于攻击者知识（如节点属性、图结构）的攻击变体。通过利用查询响应和部分结构知识，攻击在真实数据集上实现了84–89%的预测保真度，证明了仅通过GNN API即可有效重建代理模型。

ABSTRACT

Machine learning models are shown to face a severe threat from Model Extraction Attacks, where a well-trained private model owned by a service provider can be stolen by an attacker pretending as a client. Unfortunately, prior works focus on the models trained over the Euclidean space, e.g., images and texts, while how to extract a GNN model that contains a graph structure and node features is yet to be explored. In this paper, for the first time, we comprehensively investigate and develop model extraction attacks against GNN models. We first systematically formalise the threat modelling in the context of GNN model extraction and classify the adversarial threats into seven categories by considering different background knowledge of the attacker, e.g., attributes and/or neighbour connections of the nodes obtained by the attacker. Then we present detailed methods which utilise the accessible knowledge in each threat to implement the attacks. By evaluating over three real-world datasets, our attacks are shown to extract duplicated models effectively, i.e., 84% - 89% of the inputs in the target domain have the same output predictions as the victim model.

研究动机与目标

• 调查图神经网络（GNNs）的模型提取攻击威胁，尽管在非图模型中已知存在此类风险，但该问题在GNN领域仍属未被探索的领域。
• 基于攻击者背景知识的不同水平（如节点属性、图连通性）形式化定义其能力。
• 开发实用的攻击方法，仅通过API查询响应和部分结构知识，重建准确的代理GNN模型。
• 在多种真实世界图数据集上，针对不同威胁模型评估这些攻击的有效性。
• 建立GNN模型提取威胁的分类体系，并在真实世界机器学习即服务（MLaaS）环境中证明此类攻击的可行性和影响。

提出的方法

• 根据对节点属性、邻居连接关系以及影子图的访问情况，将攻击者划分为七类威胁模型。
• 设计查询策略，生成外观合法、类似于目标图中正常节点的输入。
• 从GNN的API中收集输入-输出对，用于训练能够复现受害模型行为的代理模型。
• 利用影子图——即结构和特征相似的合成图或部分观测图——以提高代理模型的保真度。
• 通过组合多个提取的模型实施集成学习，以增强代理模型与目标GNN的一致性预测能力。
• 利用结构知识（如2跳邻域）和属性信息，指导代理模型的训练过程。

实验结果

研究问题

• RQ1 基于攻击者的背景知识，GNN模型提取攻击的各类威胁模型有哪些？
• RQ2 部分图结构和节点属性的可用性如何影响GNN模型提取攻击的成功率？
• RQ3 是否可以仅通过API查询响应和有限的结构知识，构建与原始模型高度一致的代理GNN模型？
• RQ4 攻击者知识水平的不同（如拥有影子图 vs. 无影子图）如何影响提取模型的准确性和保真度？
• RQ5 攻击节点的数量及其邻域结构对提取代理模型性能有何影响？

主要发现

• 所提出的攻击在三个真实世界数据集（Cora、Citeseer、Pubmed）上对目标GNN模型实现了84–89%的预测保真度，表明代理模型重建高度准确。
• Attack-4（同时使用影子图和目标图节点访问）的保真度显著高于Attack-3（仅访问目标图节点），在Pubmed数据集上最高达到0.857，证明了结构知识的价值。
• 攻击节点数量对性能影响极小，代理模型的性能主要取决于影子图和结构信息的质量。
• 通过组合多个提取模型的输出构建的集成模型可提升保真度和准确性，尤其当某一组件模型（如Attack-3）表现优异时更为明显。
• Attack-6（结合完整节点属性访问和影子图知识）的性能与最佳攻击方法相当，证实了多源知识的有效性。
• 提取模型的保真度对结构知识比对攻击节点数量更敏感，凸显图拓扑在GNN模型提取中的关键作用。