[論文レビュー] Stealing Links from Graph Neural Networks

Xinlei He, Jinyuan Jia+3 more|arXiv (Cornell University)|May 5, 2020

Advanced Graph Neural Networks参考文献 89被引用数 38

ひとこと要約

この論文は、GNNを訓練に用いるグラフにおいて、ノードのペアが接続されているかどうかを、様々な adversary knowledge 設定の下で推測する eight black-box link stealing attacks を提案し、eight つの実世界データセットで高い AUC を示す。

ABSTRACT

Graph data, such as chemical networks and social networks, may be deemed confidential/private because the data owner often spends lots of resources collecting the data or the data contains sensitive information, e.g., social relationships. Recently, neural networks were extended to graph data, which are known as graph neural networks (GNNs). Due to their superior performance, GNNs have many applications, such as healthcare analytics, recommender systems, and fraud detection. In this work, we propose the first attacks to steal a graph from the outputs of a GNN model that is trained on the graph. Specifically, given a black-box access to a GNN model, our attacks can infer whether there exists a link between any pair of nodes in the graph used to train the model. We call our attacks link stealing attacks. We propose a threat model to systematically characterize an adversary's background knowledge along three dimensions which in total leads to a comprehensive taxonomy of 8 different link stealing attacks. We propose multiple novel methods to realize these 8 attacks. Extensive experiments on 8 real-world datasets show that our attacks are effective at stealing links, e.g., AUC (area under the ROC curve) is above 0.95 in multiple cases. Our results indicate that the outputs of a GNN model reveal rich information about the structure of the graph used to train the model.

研究の動機と目的

• GNN をグラフデータ上で訓練する際のプライバシー/IP の懸念を動機付け formalize する。
• 背景知識設定を含む eight 種の脅威モデルを提案する。
• ノード属性の類似性と GNN のポストeriors を利用した eight 個のリンク盗用攻撃を開発する。
• 多様な実世界データセットにわたり攻撃を評価し、開示リスクを定量化する。

提案手法

• 三次元の adversary knowledge space（ノード属性、部分グラフ、シャドウデータセット）を定義し、 eight タイプの攻撃を生み出す。
• ターゲット GNN からのポスターior および可能な場合はシャドウモデルからのポスターior を活用する、教師なしおよび教師ありの攻撃を開発し、ポ poster 距離とエントロピーからの特徴量を含める。
• 距離指標（eight 種類）と対称ベクトル演算（four 種類）を特徴量として用い、MLP などの攻撃モデルに適用する。
• 攻撃を転移させる場合、別データセットからシャドウモデルを構築し、次元不一致にもかかわらずポスターior の類似性を橋渡しする特徴量を作成する。
• ターゲットとリファレンス GNN を訓練（二層 GCN および MLP リファレンス）し、主要指標として AUC を用いて評価する。
• 従来の部分グラフだけを用いたリンク予測ベースラインと比較し、各知識次元が攻撃有効性に及ぼす影響を解析する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスの GNN は、その出力を通じて訓練グラフのエッジの存在を明らかにしうるか。
• RQ2 ノード属性、部分グラフ、シャドウデータセットという背景知識の組み合わせがリンク盗用性能へどう影響するか。
• RQ3 転移攻撃（シャドウデータを用いる）は純粋な局所攻撃より優れるか、どのドメイン条件でそうなるか。
• RQ4 攻撃成功に対する三つの知識次元の相対的影響はどれか。
• RQ5 リンク盗用攻撃は同じ部分グラフ上の標準的なリンク予測ベースラインを上回るか。

主な発見

Shadow Dataset	AIDS	COX2	DHFR	ENZYMES	PROTEINS_full	Citeseer	Cora	Pubmed
AIDS	-	0.720 ±0.009	0.690 ±0.005	0.730 ±0.010	0.720 ±0.005	0.689 ±0.019	0.650 ±0.025	0.667 ±0.014
COX2	0.755 ±0.032	-	0.831 ±0.005	0.739 ±0.116	0.832 ±0.009	0.762 ±0.009	0.773 ±0.008	0.722 ±0.024
DHFR	0.689 ±0.004	0.771 ±0.004	-	0.577 ±0.044	0.701 ±0.010	0.736 ±0.005	0.740 ±0.003	0.663 ±0.010
ENZYMES	0.747 ±0.014	0.695 ±0.023	0.514 ±0.041	-	0.691 ±0.030	0.680 ±0.012	0.663 ±0.009	0.637 ±0.018
PROTEINS_full	0.775 ±0.020	0.821 ±0.016	0.528 ±0.038	0.822 ±0.020	-	0.823 ±0.004	0.809 ±0.015	0.809 ±0.013
Citeseer	0.801 ±0.040	0.920 ±0.006	0.842 ±0.036	0.846 ±0.042	0.848 ±0.015	-	0.965 ±0.001	0.942 ±0.003
Cora	0.791 ±0.019	0.884 ±0.005	0.811 ±0.024	0.804 ±0.048	0.869 ±0.012	0.942 ±0.001	-	0.917 ±0.002
Pubmed	0.705 ±0.039	0.796 ±0.007	0.704 ±0.042	0.708 ±0.067	0.752 ±0.014	0.883 ±0.006	0.885 ±0.005	-

• Eight attack variants achieve high AUC on eight real-world datasets, indicating substantial leakage of graph structure from GNN outputs.
• More background knowledge generally improves attack performance; e.g., Citeseer achieves up to 0.977 AUC when all three knowledge dimensions are available.
• Among knowledge dimensions, the target graph’s partial edges have the strongest impact, followed by node attributes, while a shadow dataset has the weakest impact.
• Transferring attacks can achieve high AUC, especially when the shadow and target domains are similar, suggesting domain similarity aids information transfer.
• Attacks outperform conventional link prediction methods that rely solely on partial graphs.
• Attacks demonstrate that GNN posteriors encipher rich structural information about the training graph.