[論文レビュー] Graph Structure Learning for Robust Graph Neural Networks

Wei Jin, Yao Ma+4 more|arXiv (Cornell University)|May 20, 2020

Advanced Graph Neural Networks参考文献 41被引用数 49

ひとこと要約

Pro-GNN は perturbed graphs から低ランク性、疎性、特徴の平滑性を強制することで、クリーンなグラフ構造と頑健な GNN パラメータを共同学習し、さまざまなグラフ対向攻撃に対して強力な防御を実現する。

ABSTRACT

Graph Neural Networks (GNNs) are powerful tools in representation learning for graphs. However, recent studies show that GNNs are vulnerable to carefully-crafted perturbations, called adversarial attacks. Adversarial attacks can easily fool GNNs in making predictions for downstream tasks. The vulnerability to adversarial attacks has raised increasing concerns for applying GNNs in safety-critical applications. Therefore, developing robust algorithms to defend adversarial attacks is of great significance. A natural idea to defend adversarial attacks is to clean the perturbed graph. It is evident that real-world graphs share some intrinsic properties. For example, many real-world graphs are low-rank and sparse, and the features of two adjacent nodes tend to be similar. In fact, we find that adversarial attacks are likely to violate these graph properties. Therefore, in this paper, we explore these properties to defend adversarial attacks on graphs. In particular, we propose a general framework Pro-GNN, which can jointly learn a structural graph and a robust graph neural network model from the perturbed graph guided by these properties. Extensive experiments on real-world graphs demonstrate that the proposed framework achieves significantly better performance compared with the state-of-the-art defense methods, even when the graph is heavily perturbed. We release the implementation of Pro-GNN to our DeepRobust repository for adversarial attacks and defenses (footnote: https://github.com/DSE-MSU/DeepRobust). The specific experimental settings to reproduce our results can be found in https://github.com/ChandlerBang/Pro-GNN.

研究の動機と目的

• 動機: グラフニューラルネットワークは、グラフ構造の敵対的摂動に弱い。
• 目標: 強化された GNN を訓練しつつ、摂動を受けたグラフをクリーンにする防御を開発する。
• アプローチ: 固有のグラフ特性（低ランク、疎性、特徴の平滑性）を活用して、GNNパラメータを最適化しつつクリーンな隣接行列を学習する。
• 寄与: ポイズニング攻撃の下で、クリーンなグラフと頑健な GNN を共同学習する統一フレームワーク（Pro-GNN）。

提案手法

• 破損した A から、ノ核ノルムと L1 ノルム（|S|_* と |S|_1）を用いて低ランク化と疎性を促進しつつ、S を A に近づけ、対称性を保ちながらクリーンな隣接行列 S を学習する。
• 結合ノード間で特徴が類似するように、特徴の平滑性項 Ls = tr(X^T L_hat X) を取り入れる。L_hat は S の正規化ラプラシアン。
• 結合目的関数を定式化: L = ||A-S||_F^2 + alpha||S||_1 + beta||S||_* + gamma L_GNN + lambda tr(X^T L_hat X)。
• S を固定して GNN パラメータ theta を更新し、S に対して非微分可能ノルムの近似ステップを用いた交互最適化を適用する。
• L1 および核ノルムの近接演算子を適用し、S を実行可能集合へ射影する（対称性、エントリを [0,1] にする）。
• S と theta を反復的に更新するエンドツーエンドの訓練アルゴリズム（アルゴリズム1）を提供する。

実験結果

リサーチクエスチョン

• RQ1 Pro-GNN は複数のタイプのグラフ対向攻撃（非標的、標的、ランダム）に対して防御できるか？
• RQ2 グラフと GNN を共同学習することは、2 段階の前処理手法より頑健性を向上させるか？
• RQ3 低ランク、疎性、特徴平滑性の制約は防御性能にどのような影響を与えるか？
• RQ4 学習されたグラフ S は摂動下でラベルなしノードのノード分類を改善するのに有用か？

主な発見

• Pro-GNN は実世界データセットの複数のグラフにおいて、重大な摂動下で最先端手法よりはるかに高い防御性能を達成する。
• クリーンなグラフと GNN を同時に学習することは、2 段階の前処理手法より良い結果をもたらす。
• 本フレームワークは低ランク性、疎性、特徴平滑性を活用して、タスクに関連する接続を保ちながら、敵対的構造を抑制する。
• Cora, Citeseer, PubMed, Polblogs の実験は、非標的および標的攻撃に対する頑健性を示し、GCN、GAT、RGCN、GCN-Jaccard、GCN-SVD などのベースラインを上回った。
• 特徴平滑性項を欠くバリアント（Pro-GNN-fs）は、防御効果における Ls の重要性を確認している。