[論文レビュー] GNNGuard: Defending Graph Neural Networks against Adversarial Attacks

Xiang Zhang, Marinka Žitnik|arXiv (Cornell University)|Jun 15, 2020

Advanced Graph Neural Networks参考文献 62被引用数 122

ひとこと要約

GNNGuardは、隣接ノードの重要性を推定し、層ごとのメモリを活用してエッジを剪定または重み付けすることで、グラフの poisoning 攻撃に対する堅牢性を高める、あらゆるGNNを拡張する一般的な防御です。

ABSTRACT

Deep learning methods for graphs achieve remarkable performance across a variety of domains. However, recent findings indicate that small, unnoticeable perturbations of graph structure can catastrophically reduce performance of even the strongest and most popular Graph Neural Networks (GNNs). Here, we develop GNNGuard, a general algorithm to defend against a variety of training-time attacks that perturb the discrete graph structure. GNNGuard can be straight-forwardly incorporated into any GNN. Its core principle is to detect and quantify the relationship between the graph structure and node features, if one exists, and then exploit that relationship to mitigate negative effects of the attack.GNNGuard learns how to best assign higher weights to edges connecting similar nodes while pruning edges between unrelated nodes. The revised edges allow for robust propagation of neural messages in the underlying GNN. GNNGuard introduces two novel components, the neighbor importance estimation, and the layer-wise graph memory, and we show empirically that both components are necessary for a successful defense. Across five GNNs, three defense methods, and five datasets,including a challenging human disease graph, experiments show that GNNGuard outperforms existing defense approaches by 15.3% on average. Remarkably, GNNGuard can effectively restore state-of-the-art performance of GNNs in the face of various adversarial attacks, including targeted and non-targeted attacks, and can defend against attacks on heterophily graphs.

研究の動機と目的

• グラフ構造を攪乱する poisoning 攻撃に対するGNNの堅牢性のギャップに対処する。
• コアアーキテクチャを変更せずに任意のGNNに取り付け可能な一般的な防御を提供する。
• ノード特徴と構造の相関を活用して偽エッジを識別・緩和しつつ学習能力を保持する。

提案手法

• ノード埋め込み間のコサイン類似度に基づく隣接ノードの類似性を用いてエッジレベルの防御係数を計算する。
• エッジ特徴ベクトルの学習された非線形変換を介してエッジを probabilistically 短絡する。
• 層間でエッジ剪定を安定化させるための層ごとのグラフメモリを導入する。
• 防御係数を用いて集約と更新ステップを調整することにより、任意のGNNに防御を組み込む。
• 複数のGNNタイプと攻撃シナリオにわたって保護が適用されることを示す。

実験結果

リサーチクエスチョン

• RQ1 一般的な防御を用いてターゲット型および非ターゲット型のグラフ poisoning 攻撃の両方からGNNを保護できるか。
• RQ2 隣接ノードベースのエッジウェイト付けとメモリベースの安定化は、異種のGNNアーキテクチャ全体で堅牢性を向上させるか。
• RQ3 ヘテロフィリーログラフや多様なデータセットに対して防御は効果的か。

主な発見

Model	Dataset	No Attack	Attack	GNN-Jaccard	RobustGCN	GNN-SVD	GNNGuard
GCN	Cora	0.826	0.250	0.525	0.215	0.475	0.705
GCN	Citeseer	0.721	0.175	0.435	0.230	0.615	0.720
GCN	ogbn-arxiv	0.667	0.235	0.305	0.245	0.370	0.425
GAT	Cora	0.827	0.245	0.295	0.215	0.365	0.625
GAT	Citeseer	0.718	0.265	0.575	0.230	0.575	0.765
GAT	ogbn-arxiv	0.669	0.210	0.355	0.245	0.445	0.520
GIN	Cora	0.834	0.305	0.445	0.215	0.425	0.690
GIN	Citeseer	0.724	0.275	0.615	0.230	0.610	0.775
GIN	ogbn-arxiv	0.678	0.335	0.375	0.245	0.325	0.635
JK-Net	Cora	0.821	0.225	0.535	0.235	0.460	0.695
JK-Net	Citeseer	0.716	0.195	0.470	0.350	0.395	0.770
JK-Net	ogbn-arxiv	0.683	0.245	0.365	0.245	0.315	0.375
GraphSAINT	Cora	0.739	0.205	0.315	0.295	0.330	0.485
GraphSAINT	Citeseer	0.745	0.205	0.315	0.295	0.330	0.485

• GNNGuardは、5つのGNN、4つのデータセット、さまざまな攻撃において平均で最大15.3％上回る。
• この防御は、直接ターゲット型、影響ターゲット型、および非ターゲット型攻撃下で強力なGNNの最先端性能を回復させる。
• アブレーションにより、隣接重要度推定と層ごとのメモリの両方が防御の有効性と学習の安定性に寄与することが示された。
• ヘテロフィリーログラフであってもGNNGuardは有効であり、同質性優先のグラフを超えた広い適用性を示している。