[論文レビュー] Graph-Fraudster: Adversarial Attacks on Graph Neural Network Based Vertical Federated Learning

Jinyin Chen, Guohan Huang+4 more|arXiv (Cornell University)|Oct 13, 2021

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、グラフニューラルネットワークベースの垂直フェデレーテッドラーニング（GVFL）を標的とする最初の adversarial attack フレームワークである Graph-Fraudster を提案する。global node embedding のプライバシー漏洩を活用し、ペアワイズノード関係の勾配を活用することで、防御メカニズムが適用されても顕著にモデル性能を低下させる有効な adversarial perturbation を生成する。これにより、GVFL が標的攻撃に対して極めて脆弱であることが示された。

ABSTRACT

Graph neural network (GNN) has achieved great success on graph representation learning. Challenged by large scale private data collected from user-side, GNN may not be able to reflect the excellent performance, without rich features and complete adjacent relationships. Addressing the problem, vertical federated learning (VFL) is proposed to implement local data protection through training a global model collaboratively. Consequently, for graph-structured data, it is a natural idea to construct a GNN based VFL framework, denoted as GVFL. However, GNN has been proved vulnerable to adversarial attacks. Whether the vulnerability will be brought into the GVFL has not been studied. This is the first study of adversarial attacks on GVFL. A novel adversarial attack method is proposed, named Graph-Fraudster. It generates adversarial perturbations based on the noise-added global node embeddings via the privacy leakage and the gradient of pairwise node. Specifically, first, Graph-Fraudster steals the global node embeddings and sets up a shadow model of the server for the attack generator. Second, noise is added into node embeddings to confuse the shadow model. At last, the gradient of pairwise node is used to generate attacks with the guidance of noise-added node embeddings. Extensive experiments on five benchmark datasets demonstrate that Graph-Fraudster achieves the state-of-the-art attack performance compared with baselines in different GNN based GVFLs. Furthermore, Graph-Fraudster can remain a threat to GVFL even if two possible defense mechanisms are applied. Additionally, some suggestions are put forward for the future work to improve the robustness of GVFL. The code and datasets can be downloaded at https://github.com/hgh0545/Graph-Fraudster.

研究の動機と目的

• グラフニューラルネットワークベースの垂直フェデレーテッドラーニング（GVFL）が adversarial attack に対して脆弱であるかを調査すること。
• global node embedding のプライバシー漏洩とモデル勾配情報が攻撃者にとっての利用可能な条件を生み出すことの特定。
• これらの漏洩チャnelを活用した、GVFL 専用に最適化された新規で効果的な adversarial attack 法の提案。
• 現実的な防御メカニズム下での攻撃性能の評価とその頑健性の検証。
• 実世界の応用において GVFL の頑健性を向上させるための実行可能な提言の提供。

提案手法

• Graph-Fraudster はまず、サーバーから global node embedding を盗み取ることで、標的となる GVFL システムのシャロウモデルを構築する。
• 盗み取った node embedding にノイズを注入することで、シャロウモデルを混乱させ、攻撃の転送性を向上させる。
• 攻撃ジェネレータは、ペアワイズノード関係からの勾配を用いて adversarial perturbation の生成をガイドする。
• 摂動は、局所的なグラフ構造（例：偽のエッジの追加など）をわずかに変更するように設計され、同時にグローバルモデルの誤分類を最大化する。
• 単一エッジの変更など、極めて小さな摂動でも効果を発揮するように設計されている。
• 一般化性を確保するため、複数の GNN アーキテクチャと実世界のグラフデータセットを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークベースの垂直フェデレーテッドラーニング（GVFL）システムに対して、adversarial attack が効果的に実行可能か。
• RQ2 global node embedding のプライバシー漏洩が、GVFL における成功した adversarial attack の実現をどの程度可能にするか。
• RQ3 GVFL に適用された場合、centralized GNN 環境における既存の転送可能攻撃と比較して、Graph-Fraudster の有効性はいかほどか。
• RQ4 Graph-Fraudster は、GVFL における一般的な防御メカニズム（例：微分プライバシー、top-K 削除）を回避できるか。
• RQ5 システムレベル要因（例：データ寄与度、グラフ分割戦略）が、GVFL における adversarial attack の成功率に与える影響は何か。

主な発見

• Graph-Fraudster は、5つのベンチマークグラフデータセット上で7つの評価指標において、既存の転送可能攻撃を上回る最新の攻撃性能を達成した。
• 微分プライバシーや top-K 削除の防御が適用されても攻撃が有効であることが確認され、一般的な緩和戦略に対して耐性があることが示された。
• 小さなノイズスケール（例：ε = 0.004）でも、特に単一エッジ攻撃の状況ではモデル精度を顕著に低下させることができた。
• 埋め込み次元（d = 8 から 32）の変化に対しても攻撃性能が安定しており、ハイパーパramータの変更に対して頑健であることが示された。
• グラフ分割戦略とデータ寄与度の不均衡が攻撃成功に顕著な影響を及ぼし、特に高い寄与度を持つクライアントは、adversarial manipulation に対してより脆弱であることが示唆された。
• アップロードされた node embedding のノイズ除去は、防御戦略として実現可能であることが特定されたが、Graph-Fraudster に対しては完全には効果的でないことが判明した。