[論文レビュー] On Strengthening and Defending Graph Reconstruction Attack with Markov Chain Approximation

Zhanke Zhou, Chenyu Zhou+4 more|arXiv (Cornell University)|Jun 15, 2023

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿は、グラフニューラルネットワーク（GNN）におけるプライベートな隣接構造の漏洩を系統的に調査・強化するための新しいマーカフチェーン近似フレームワークを提案する。GNNが複数の中間表現を通じて隣接情報漏洩を引き起こすことを明らかにした。攻撃強化のためのMC-GRAと、防御のためのMC-GPBを導入し、6つのデータセットで最先端の性能を達成した。精度の低下は最小限に抑えられ、攻撃の忠実度は著しく低下した。

ABSTRACT

Although powerful graph neural networks (GNNs) have boosted numerous real-world applications, the potential privacy risk is still underexplored. To close this gap, we perform the first comprehensive study of graph reconstruction attack that aims to reconstruct the adjacency of nodes. We show that a range of factors in GNNs can lead to the surprising leakage of private links. Especially by taking GNNs as a Markov chain and attacking GNNs via a flexible chain approximation, we systematically explore the underneath principles of graph reconstruction attack, and propose two information theory-guided mechanisms: (1) the chain-based attack method with adaptive designs for extracting more private information; (2) the chain-based defense method that sharply reduces the attack fidelity with moderate accuracy loss. Such two objectives disclose a critical belief that to recover better in attack, you must extract more multi-aspect knowledge from the trained GNN; while to learn safer for defense, you must forget more link-sensitive information in training GNNs. Empirically, we achieve state-of-the-art results on six datasets and three common GNNs. The code is publicly available at: https://github.com/tmlr-group/MC-GRA.

研究の動機と目的

• GNNがモデル出力からプライベートな隣接構造を回復しようとするグラフ再構築攻撃（GRA）に対して、その脆弱性を系統的に調査すること。
• 複数のGNN表現（例：ノード埋め込み、予測）がどのように隣接情報漏洩を引き起こすかのメカニズムを理解すること。
• マーカフチェーン近似に基づく統一的フレームワークを提案し、柔軟で適応可能な攻撃および防御戦略を可能にすること。
• 情報理論に従う防御メカニズムを提案し、顕著な精度低下を伴わずにプライバシー漏洩を低減すること。
• 6つの実世界データセットおよび3種類のGNNアーキテクチャを用いた実験的検証を実施すること。

提案手法

• GNNの推論プロセスをマーカフチェーンとしてモデル化し、入力（隣接行列A、特徴X）が隠れ表現H_Aを経て予測Y_hatに至るプロセスを記述する。
• MC-GRAを提案。元のマーカフチェーンを回復された隣接行列Âを用いて近似し、複数の変数（X, H_A, Y_hat, Y）の忠実度を最適化するチェーンベース攻撃手法である。
• MC-GPBを導入。情報理論的制約を用いて、グラフ表現、隣接行列、ラベル間の相互依存性を正則化する防御手法である。
• 攻撃および防御の目的関数において、元の変数と回復された変数の整合性を測るための類似度指標（例：MSE, KL, CKA, DP）を用いる。
• 学習可能なハイパーパrameter（例：α_c, α_p, β_p）を用いた微分可能目的関数を最適化し、複雑さとプライバシー制約を調整する。
• データセットごとにランダム探索またはグリッドサーチを実施し、各設定における最適なハイパーパrameter値を報告する。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴、埋め込み、予測といった複数のGNN表現は、プライベートな隣接構造の漏洩にどのように寄与するか？
• RQ2 マーカフチェーン近似は、GNNにおける入力から出力への情報伝達を攻撃および防御の文脈でどの程度正確にモデル化できるか？
• RQ3 GNNから多様な側面の知識を抽出する際、攻撃の忠実度とモデル精度の間にはどのようなトレードオフが生じるか？
• RQ4 リンクに敏感な情報を能動的に忘れさせる防御機構は、精度の著しい低下を伴わず、再構築忠実度を著しく低下させることができるか？
• RQ5 異なる類似度指標と正則化戦略は、GRAにおける攻撃および防御の性能にどのように影響を与えるか？

主な発見

• MC-GRAは、6つのデータセットおよび3種類のGNNアーキテクチャで最先端の攻撃性能を達成した。攻撃チェーン内で複数の情報量の多い変数（X, H_A, Y_A, Y）を適応的に組み合わせた。
• MC-GPBは、評価された全データセットで攻撃忠実度をほぼゼロにまで低下させたが、精度の低下はわずかであった（例：CoraとCiteseerでは2%未満）。
• 最適な防御ハイパーパrameter（β_p, β_c）はデータセットごとに顕著に異なるため、データセット固有のチューニングが必要であることが示された。
• 防御目的関数における類似度指標の選択（例：KDE, DP, KL）が、プライバシー保護の効果に顕著な影響を与えることが分かった。
• 事前知識としてノード特徴と隠れ表現が含まれる場合、攻撃は高い忠実度（例：CoraではAUC > 0.9）を達成しており、多様な側面からの漏洩リスクが顕著である。
• 防御機構は、異なるGNNアーキテクチャおよびデータセット（社会的ネットワーク：Polblogs, Brazil、引用ネットワーク：AIDS, USA）に対して堅牢であることが確認された。