[論文レビュー] LinkTeller: Recovering Private Edges from Graph Neural Networks via Influence Analysis

Fan Wu, Yunhui Long+2 more|arXiv (Cornell University)|Aug 14, 2021

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

LinkTeller は、悪意あるクエリを通じたモデルの影響を分析することにより、グラフニューラルネットワーク（GNN）におけるプライベートエッジを回復するプライバシー攻撃を提案する。これは、微分プライバシー（ε > 5）が適用されても、GNN がエッジ再構築に対して依然として脆弱であることを示しており、縦方向に分割されたグラフ学習設定において顕著なプライバシー漏洩が生じることを明らかにする。

ABSTRACT

Graph structured data have enabled several successful applications such as recommendation systems and traffic prediction, given the rich node features and edges information. However, these high-dimensional features and high-order adjacency information are usually heterogeneous and held by different data holders in practice. Given such vertical data partition (e.g., one data holder will only own either the node features or edge information), different data holders have to develop efficient joint training protocols rather than directly transfer data to each other due to privacy concerns. In this paper, we focus on the edge privacy, and consider a training scenario where Bob with node features will first send training node features to Alice who owns the adjacency information. Alice will then train a graph neural network (GNN) with the joint information and release an inference API. During inference, Bob is able to provide test node features and query the API to obtain the predictions for test nodes. Under this setting, we first propose a privacy attack LinkTeller via influence analysis to infer the private edge information held by Alice via designing adversarial queries for Bob. We then empirically show that LinkTeller is able to recover a significant amount of private edges, outperforming existing baselines. To further evaluate the privacy leakage, we adapt an existing algorithm for differentially private graph convolutional network (DP GCN) training and propose a new DP GCN mechanism LapGraph. We show that these DP GCN mechanisms are not always resilient against LinkTeller empirically under mild privacy guarantees ($\varepsilon>5$). Our studies will shed light on future research towards designing more resilient privacy-preserving GCN models; in the meantime, provide an in-depth understanding of the tradeoff between GCN model utility and robustness against potential privacy attacks.

研究の動機と目的

• ノード特徴量と隣接情報が異なる当事者によって保持される縦方向に分割されたデータ設定下で、GNN におけるエッジプライバシー漏洩のリスクを調査すること。
• 悪意あるテストクエリの影響分析を用いて、プライベートエッジを回復する新規のプライバシー攻撃、LinkTeller を開発すること。
• さまざまなプライバシー予算下で、微分プライバシーを適用した GNN（DP-GCN）の、提案攻撃に対する耐性を評価すること。
• プライバシー保護型 GNN におけるモデルの有用性とエッジ再構築攻撃への耐性のトレードオフを明らかにすること。

提案手法

• LinkTeller は、ノード特徴量を摂動させることで悪意あるテストクエリを構築し、モデル予測への影響を最大化することで、プライベートエッジ構造の推定を可能にする。
• 影響関数分析を用いて、特定のテスト入力に対して各訓練エッジがモデル出力に与える寄与度を推定する。
• 攻撃はエッジをその影響スコアの順にランク付けし、高い影響スコアを持つエッジを、おそらくプライベートな接続と特定する。
• この手法は、さまざまなグラフ密度とスパarsityレベルを有する 8 つのインダクティブおよび 3 つのトランスダクティブグラフデータセットで評価されている。
• 著者らは既存の DP-GCN メカニズムを適応し、プライバシーと有用性のトレードオフを評価するために、新しいラプラシアンベースの DP-GCN（LapGraph）を提案する。
• 実験的評価では、さまざまな ε 値下でのベースラインと比較し、回復されたエッジの正確性（precision）と再現率（recall）を測定している。

実験結果

リサーチクエスチョン

• RQ1 悪意あるテストクエリからの影響分析を通じて、GNN モデル内のプライベートエッジを敵が推定可能か？
• RQ2 LinkTeller は、多様なインダクティブおよびトランスダクティブグラフ設定において、プライベートエッジの回復にどの程度効果的か？
• RQ3 実用的なプライバシー予算下で、既存の微分プライバシーを適用した GNN メカニズム（例：DP-GCN、LapGraph）は、LinkTeller 攻撃に対してどの程度耐性を示すか？
• RQ4 プライバシー保護型 GNN において、モデルの有用性とエッジ再構築攻撃への耐性のトレードオフは、どの程度顕著か？

主な発見

• LinkTeller は、高密度グラフにおいて、ε=10 時に平均して最大 35.7 個のエッジを回復することに成功した。
• 複数のデータセットにわたり、高い正確性（最大 19.6）と再現率（最大 43.1）を維持し、インダクティブおよびトランスダクティブ両設定で既存のベースラインを上回った。
• 中程度のプライバシー予算（ε > 5）下でも、既存の DP-GCN メカニズムはエッジ回復を防げず、いくつかのデータセットでは再現率が 20 を超えた。
• 提案された LapGraph メカニズムは耐性をわずかに向上させたが、特に ε < 8 の場合、完全には LinkTeller を防げず、依然として脆弱であった。
• 本研究は、現在の DP-GCN が影響に基づくエッジ再構築攻撃に対して耐性を示さないという深刻なギャップを明らかにした。これは、そのプライバシー保証を損なうものである。
• 結果は、モデルの有用性が高くなるほど、GNN の推論 API におけるエッジプライバシー漏洩の脆弱性が増大するという根本的なトレードオフを示している。