[論文レビュー] Inference Attacks Against Graph Neural Networks

Zhikun Zhang, Min Chen+3 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Graph Neural Networks参考文献 64被引用数 19

ひとこと要約

この論文は、グラフニューラルネットワーク（GNN）埋め込みにおけるプライバシーリスクを調査し、3つの推論攻撃（性質推定、部分グラフ包含検出、グラフ再構築）を提案する。実験では、グラフ埋め込みが顕著な構造的情報を漏洩していることを示し、性質推定で最大0.89の精度、部分グラフ検出で0.98のAUCを達成した。一方で、摂動に基づく防御手法を導入し、グラフ分類タスクにおける性能低下を最小限に抑えて攻撃を緩和した。

ABSTRACT

Graph is an important data representation ubiquitously existing in the real world. However, analyzing the graph data is computationally difficult due to its non-Euclidean nature. Graph embedding is a powerful tool to solve the graph analytics problem by transforming the graph data into low-dimensional vectors. These vectors could also be shared with third parties to gain additional insights of what is behind the data. While sharing graph embedding is intriguing, the associated privacy risks are unexplored. In this paper, we systematically investigate the information leakage of the graph embedding by mounting three inference attacks. First, we can successfully infer basic graph properties, such as the number of nodes, the number of edges, and graph density, of the target graph with up to 0.89 accuracy. Second, given a subgraph of interest and the graph embedding, we can determine with high confidence that whether the subgraph is contained in the target graph. For instance, we achieve 0.98 attack AUC on the DD dataset. Third, we propose a novel graph reconstruction attack that can reconstruct a graph that has similar graph structural statistics to the target graph. We further propose an effective defense mechanism based on graph embedding perturbation to mitigate the inference attacks without noticeable performance degradation for graph classification tasks. Our code is available at https://github.com/Zhangzhk0819/GNN-Embedding-Leaks.

研究の動機と目的

• グラフ埋め込みが元のグラフの構造的情報をどの程度漏洩しているかを調査すること。
• 単一の埋め込みベクトルから、基本的なグラフ特性、部分グラフの包含関係、および完全なグラフの再構築を抽出できる推論攻撃を開発すること。
• モデルの有用性を保ちながら、グラフ埋め込みにおけるプライバシー漏洩を緩和する実用的な防御機構を提案すること。
• 異なる実世界のデータセットおよびGNNアーキテクチャを対象に、攻撃と防御の有効性を評価すること。

提案手法

• 埋め込みベクトルからグラフ特性（例：ノード数、エッジ数、密度）を予測するため、深層ニューラルネットワークを用いてマルチタスク分類問題としてモデル化する。
• 元のグラフ埋め込みと関心のある部分グラフの両方の情報を統合する新しいグラフ埋め込み抽出器を設計し、部分グラフの包含検出を可能にする。
• 構造的類似性を最適化するように学習可能なデコーダを備えたグラフオートエンコーダフレームワークを用い、埋め込みからターゲットグラフを再構築する。
• 共有前にグラフ埋め込みにキャリブレートされたラプラスノイズを追加する防御機構を提案し、感受性の高い構造的情報をぼかす。
• 3つの最先端のGNNモデル（例：GCN、GIN、GraphSAGE）を用いて、5つの実世界のグラフデータセットで攻撃および防御モデルの学習と評価を実施する。
• 攻撃モデルと学習モデルのアーキテクチャやサンプリング手法が異なる場合の耐性を評価するため、トランスファー攻撃を実施する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者は、1つのグラフ埋め込みから、基本的なグラフ特性（例：ノード数、エッジ数、密度）をどの程度正確に推定できるか？
• RQ2 攻撃者は、グラフ埋め込みと部分グラフのみを用いて、特定の部分グラフが元のグラフに含まれているかどうかを特定できるか？
• RQ3 1つのグラフ埋め込みから、次数分布やクラスタリング係数などの構造的統計が類似するグラフを再構築することは可能か？
• RQ4 ラプラスノイズによる摂動が、これらの推論攻撃を緩和する有効な防御手段となるか、かつ下流タスクの性能を著しく低下させないか？

主な発見

• 性質推定攻撃はDDデータセットで最大0.89の攻撃精度を達成し、基本的なグラフ統計の顕著な漏洩を示した。
• 部分グラフ推定攻撃はDDデータセットでAUCが0.98に達し、部分グラフの包含関係を高い信頼性で検出できた。
• グラフ再構築攻撃は、局所的クラスタリング係数分布のコサイン類似度が0.99であり、元のグラフと高い同型性を示した。
• ラプラスノイズによる摂動を用いた提案防御は、3つの推論攻撃を効果的に緩和したが、グラフ分類精度はわずかに低下したにとどまった。
• 異なるGNNアーキテクチャやサンプリング手法を用いたトランスファー攻撃も成功し、提案攻撃の強靱性と一般化能力を示した。
• 結果から、単一のベクトルに圧縮されたグラフ埋め込みであっても、顕著な構造的情報が漏洩しており、次元削減によるプライバシーの保証という仮定に疑問を呈する。