[論文レビュー] GARNET: Reduced-Rank Topology Learning for Robust and Scalable Graph Neural Networks

Chenhui Deng, Xiuyu Li+2 more|arXiv (Cornell University)|Jan 30, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

GARNETは、重み付きスペクトル埋め込みと確率的グラフィカルモデルに基づく精錬を用いて、低ランクでクリーンなグラフトポロジーを学習することで、GNNのロバスト性を向上させるスケーラブルなスペクトル手法である。最先端の防御手法と比較して、敵対的精度が最大10.23%向上し、トレーニングが14.7倍高速化される一方で、重要なグラフ構造を効果的に保持し、数百万ノードの大きなグラフへもスケーリング可能である。

ABSTRACT

Graph neural networks (GNNs) have been increasingly deployed in various applications that involve learning on non-Euclidean data. However, recent studies show that GNNs are vulnerable to graph adversarial attacks. Although there are several defense methods to improve GNN robustness by eliminating adversarial components, they may also impair the underlying clean graph structure that contributes to GNN training. In addition, few of those defense models can scale to large graphs due to their high computational complexity and memory usage. In this paper, we propose GARNET, a scalable spectral method to boost the adversarial robustness of GNN models. GARNET first leverages weighted spectral embedding to construct a base graph, which is not only resistant to adversarial attacks but also contains critical (clean) graph structure for GNN training. Next, GARNET further refines the base graph by pruning additional uncritical edges based on probabilistic graphical model. GARNET has been evaluated on various datasets, including a large graph with millions of nodes. Our extensive experiment results show that GARNET achieves adversarial accuracy improvement and runtime speedup over state-of-the-art GNN (defense) models by up to 13.27% and 14.7x, respectively.

研究の動機と目的

• エッジを著しく変更しないままの攻撃でも脆弱であるGNNの脆弱性に対処すること。
• 既存の低ランク防御手法の限界を克服すること。これらの手法はクリーンなグラフ構造を劣化させ、大規模グラフでは高い計算コストとメモリ使用量を伴う。
• 本質的なグラフトポロジーを保持しながら敵対的要因を除去する、スケーラブルで効率的かつロバストな防御機構を開発すること。
• 同型性仮定を必要とせず、同型的および異型的グラフの両方で効果的なGNNトレーニングを可能にすること。

提案手法

• 隣接行列から得られる重み付きスペクトル埋め込みを用いて、敵対的摂動に対して本質的に耐性を持つベースグラフを構築する。
• 切り捨て特異値分解（TSVD）を適用して、重要な構造的情報を保持する低ランクスペクトル表現を取得する。
• ノード埋め込み間の条件付き独立性に基づき、確率的グラフィカルモデル（PGM）を用いて非重要または有害なエッジを同定・削除する。
• ノード埋め込み間の条件付き依存度スコアが低いエッジを削除することで、スパースで高品質なグラフを構築し、後続のGNNトレーニングに適した状態にする。
• 密な隣接行列を一切使用せずに、精錬されたグラフをGNNパイプラインに統合することで、効率的なトレーニングを実現する。
• 2段階のプロセスを採用する：(1) スペクトル埋め込みによるベースグラフ構築、(2) PGMを用いたエッジの精錬によるロバストネス向上。

実験結果

リサーチクエスチョン

• RQ1 低ランクスペクトル手法は、有用なトポロジーを損なわずに、敵対的エッジを除去しつつクリーンなグラフ構造を効果的に回復できるか？
• RQ2 PGMを用いたGARNETのグラフ精錬は、ベースライン防御手法と比較してどのように敵対的ロバストネスを向上させるか？
• RQ3 GARNETは数百万ノードを有する大規模グラフにどの程度スケーリング可能か？また、既存の低ランク防御手法と比較してその効率性はいかがなものか？
• RQ4 GARNETは同型性仮定を必要とせず、同型的および異型的グラフの両方で性能を維持できるか？
• RQ5 ベースグラフ構築ステップと精錬ステップの両方が、最終的なモデル精度に与える影響はどの程度か？

主な発見

• GARNETは、ベンチマークデータセット上で最先端のGNN防御モデルと比較して、敵対的精度を最大10.23%向上させた。
• GARNETは、TSVD や ProGNN といった既存の低ランク防御手法と比較して、エンドツーエンドのトレーニング時間を最大14.7倍高速化した。
• 200万以上のノードを有する ogbn-products データセットでは、GARNETはエンドツーエンドのトレーニングを4時間で完了し、GNNGuard よりも3倍速く、性能も上回った。
• GARNETはクリーンな精度を高い水準で維持している（例：Coraでは76.05%）一方で、ベースラインと比較して著しく高い敵対的精度（74.97%）を達成した。
• アブレーションスタディの結果、ベースグラフ単体と比較して、グラフ精錬ステップが約2%の精度向上に寄与していることが確認された。
• 可視化結果から、GARNETは異なるラベルのノードを接続する敵対的エッジを効果的に削除し、ターゲットノードの周囲の局所的同型性を回復していることが示された。