[论文解读] LinkTeller: Recovering Private Edges from Graph Neural Networks via Influence Analysis

Fan Wu, Yunhui Long+2 more|arXiv (Cornell University)|Aug 14, 2021

Privacy-Preserving Technologies in Data被引用 7

一句话总结

LinkTeller 提出了一种隐私攻击方法，通过分析对抗性查询下的模型影响，恢复图神经网络（GNN）中的私有边。研究表明，即使在差分隐私（ε > 5）的保护下，GNN 仍易受边重构攻击，导致在垂直划分图学习设置中存在显著的隐私泄露风险。

ABSTRACT

Graph structured data have enabled several successful applications such as recommendation systems and traffic prediction, given the rich node features and edges information. However, these high-dimensional features and high-order adjacency information are usually heterogeneous and held by different data holders in practice. Given such vertical data partition (e.g., one data holder will only own either the node features or edge information), different data holders have to develop efficient joint training protocols rather than directly transfer data to each other due to privacy concerns. In this paper, we focus on the edge privacy, and consider a training scenario where Bob with node features will first send training node features to Alice who owns the adjacency information. Alice will then train a graph neural network (GNN) with the joint information and release an inference API. During inference, Bob is able to provide test node features and query the API to obtain the predictions for test nodes. Under this setting, we first propose a privacy attack LinkTeller via influence analysis to infer the private edge information held by Alice via designing adversarial queries for Bob. We then empirically show that LinkTeller is able to recover a significant amount of private edges, outperforming existing baselines. To further evaluate the privacy leakage, we adapt an existing algorithm for differentially private graph convolutional network (DP GCN) training and propose a new DP GCN mechanism LapGraph. We show that these DP GCN mechanisms are not always resilient against LinkTeller empirically under mild privacy guarantees ($\varepsilon>5$). Our studies will shed light on future research towards designing more resilient privacy-preserving GCN models; in the meantime, provide an in-depth understanding of the tradeoff between GCN model utility and robustness against potential privacy attacks.

研究动机与目标

• 研究在节点特征与邻接信息由不同参与方持有的垂直划分数据设置下，GNN 中边隐私泄露的风险。
• 提出一种新型隐私攻击方法 LinkTeller，通过对抗性测试查询的影响分析恢复私有边。
• 评估不同差分隐私 GNN（DP-GCN）在不同隐私预算下对所提攻击的鲁棒性。
• 揭示隐私保护型 GNN 中模型效用与抵抗边重构攻击能力之间的权衡。

提出的方法

• LinkTeller 通过扰动节点特征构建对抗性测试查询，以最大化其对模型预测的影响，从而推断出私有边结构。
• 采用影响函数分析方法，估算每条训练边对给定测试输入下模型输出的贡献程度。
• 根据影响得分对边进行排序，并将高影响边视为可能的私有连接进行恢复。
• 该方法在 8 个归纳性与 3 个直推性图数据集上进行评估，涵盖不同图密度与稀疏度水平。
• 作者改进了现有的 DP-GCN 机制，并提出一种基于拉普拉斯分布的新型 DP-GCN（LapGraph），以评估隐私-效用权衡。
• 通过实证评估对比 LinkTeller 与基线方法的表现，测量在不同 ε 值下恢复边的精确率与召回率。

实验结果

研究问题

• RQ1 攻击者能否通过分析对抗性测试查询的影响，推断出 GNN 模型中的私有边？
• RQ2 LinkTeller 在多种归纳性与直推性图设置下恢复私有边的效率如何？
• RQ3 在实际隐私预算下，现有差分隐私 GNN 机制（如 DP-GCN、LapGraph）在多大程度上能抵抗 LinkTeller 攻击？
• RQ4 隐私保护型 GNN 中，模型效用与抵抗边重构攻击能力之间存在何种权衡？

主要发现

• LinkTeller 成功恢复了相当大比例的私有边——在高密度图中，ε=10 时平均可恢复 35.7 条边。
• 该攻击在多个数据集上保持了高精确率（最高达 19.6）与高召回率（最高达 43.1），在归纳性与直推性设置中均优于现有基线方法。
• 即使在中等隐私预算（ε > 5）下，现有 DP-GCN 机制仍无法有效防止边的恢复，多个数据集的召回率超过 20%。
• 所提出的 LapGraph 机制虽略有提升鲁棒性，但无法完全抵御 LinkTeller 攻击，尤其在 ε < 8 时表现不足。
• 研究揭示了一个关键缺口：当前的 DP-GCN 并不具有抵御基于影响的边重构攻击的能力，从而削弱了其隐私保证。
• 结果凸显出一个根本性权衡：更高的模型效用与更大的边隐私泄露风险在 GNN 推理 API 中密切相关。