[論文レビュー] Node-Level Membership Inference Attacks Against Graph Neural Networks

Xinlei He, Rui Wen+4 more|arXiv (Cornell University)|Feb 10, 2021

Privacy-Preserving Technologies in Data参考文献 55被引用数 50

ひとこと要約

本論文は、ブラックボックス設定下でのグラフニューラルネットワーク（GNN）に対するノードレベルのメンバーシップ推定攻撃を初めて包括的に検討し、0-hop、2-hop、及び組み合わせ攻撃を提案し、グラフの性質が攻撃の成功度に与える影響を分析しつつ、防御策を提案する。

ABSTRACT

Many real-world data comes in the form of graphs, such as social networks and protein structure. To fully utilize the information contained in graph data, a new family of machine learning (ML) models, namely graph neural networks (GNNs), has been introduced. Previous studies have shown that machine learning models are vulnerable to privacy attacks. However, most of the current efforts concentrate on ML models trained on data from the Euclidean space, like images and texts. On the other hand, privacy risks stemming from GNNs remain largely unstudied. In this paper, we fill the gap by performing the first comprehensive analysis of node-level membership inference attacks against GNNs. We systematically define the threat models and propose three node-level membership inference attacks based on an adversary's background knowledge. Our evaluation on three GNN structures and four benchmark datasets shows that GNNs are vulnerable to node-level membership inference even when the adversary has minimal background knowledge. Besides, we show that graph density and feature similarity have a major impact on the attack's success. We further investigate two defense mechanisms and the empirical results indicate that these defenses can reduce the attack performance but with moderate utility loss.

研究の動機と目的

• GNNに対するノードレベルのメンバーシップ推定の脅威モデルを定義する。
• 0-hop、2-hop、結合の3つの攻撃モデルを開発する。
• 複数のGNNアーキテクチャとデータセットにわたって攻撃者の成功を評価する。
• 攻撃の成功に影響する要因（密度、特徴の類似性など）を特定する。
• メンバーシップ推定リスクを緩和しつつ、ユーティリティ損失を考慮した防御策を提案・評価する。

提案手法

• シャドウデータセット、シャドウモデル、ノードトポロジーの3つの次元に沿って攻撃者の背景知識を分類する。
• 0-hop（ノードの特徴量のみを使用）、2-hop（2-hopサブグラフを使用）、および結合（両方の入力を使用）の3つの攻撃モデルを定義・実装する。
• ターゲットを模倣するために、別個のシャドウデータセット上でシャドウGNNを訓練する。すべてのノードを用いてシャドウモデルを照会して攻撃用データを生成する。
• ターゲットまたはシャドウモデルが出力する後方確率（posteriors）上でバイナリア攻撃モデル（MLP）を訓練し、メンバーシップを予測する。
• 0-hopまたは2-hop入力でターゲットモデルを照会して後方確率を取得し、攻撃モデルを実行してメンバーシップ推定を行う。
• GraphSAGE、GAT、GINに対して、4つのデータセット（Cora、Citeseer、Cora-full、LastFM Asia）で攻撃を評価する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスの adversary は、ノードレベルのメンバーシップ推定のもとで、ノードがGNNの訓練データセットに含まれていたかを推定できるか。
• RQ2 効果的な攻撃に必要な背景知識（シャドウデータ/モデル、ノードのトポロジー）は何か。
• RQ3 0-hopや2-hopのposteriorsはより多くのメンバーシップ情報を明らかにするか、入力の組み合わせで推定を改善できるか。
• RQ4 サブグラフ密度や特徴の類似性といったグラフ特性は攻撃の成功にどう影響するか。
• RQ5 これらの攻撃を許容されるユーティリティ損失で緩和できる防御策は何か。

主な発見

• 0-hop攻撃は高い精度を達成し得る（例：CiteseerでGraphSAGEの0.791）
• 0-hopは時に2-hopを上回ることがある（例：CoraでGraphSAGEの0-hop 0.754 vs 2-hop 0.671）。
• 結合攻撃は概ね全設定で最も強い性能を示す。
• 攻撃の成功はターゲットモデルの過剰適合（トレーニングとテストのギャップが大きいほど）と相関する。
• ノード密度、エゴ密度、および特徴類似性は攻撃の成功に正の影響を与え、密度と類似性が高いほど推定リスクが高まる。
• 防御策は攻撃性能を低下させるが、ユーティリティの損失は中程度になる。