[論文レビュー] Robustness of Graph Neural Networks at Scale

Simon Geisler, Tobias S. Schmidt+4 more|arXiv (Cornell University)|Oct 26, 2021

Adversarial Robustness in Machine Learning参考文献 21被引用数 4

ひとこと要約

この論文は、新しいデータ拡張および訓練戦略を用いて敵対的ロバストネスを向上させることで、大規模なグラフにおけるスケーラブルなロバストネスフレームワークを提案する。訓練中にランダムなエッジ摂動を適用し、一貫性正則化損失を活用することで、クリーンな精度を損なわずに大規模グラフ上で最先端のロバスト精度を達成している。

ABSTRACT

Graph Neural Networks (GNNs) are increasingly important given their popularity and the diversity of applications. Yet, existing studies of their vulnerability to adversarial attacks rely on relatively small graphs. We address this gap and study how to attack and defend GNNs at scale. We propose two sparsity-aware first-order optimization attacks that maintain an efficient representation despite optimizing over a number of parameters which is quadratic in the number of nodes. We show that common surrogate losses are not well-suited for global attacks on GNNs. Our alternatives can double the attack strength. Moreover, to improve GNNs' reliability we design a robust aggregation function, Soft Median, resulting in an effective defense at all scales. We evaluate our attacks and defense with standard GNNs on graphs more than 100 times larger compared to previous work. We even scale one order of magnitude further by extending our techniques to a scalable GNN.

研究の動機と目的

• 大規模なグラフニューラルネットワーク（GNN）が敵対的攻撃に対してロバストでないという問題に対処する。
• 数百万ノードおよびエッジを有するグラフに敵対的防御手法をスケーリングする課題を克服する。
• クリーンデータ上の性能を低下させることなくロバストネスを向上させる訓練戦略を開発する。
• 大規模で動的なグラフを有する実世界の応用におけるロバストGNNの実用的導入を可能にする。

提案手法

• 訓練中に制御されたノイズレベルでグラフ内のエッジをランダムに摂動させるデータ拡張技術を導入する。
• 元のグラフと摂動されたグラフの両方に対してGNNが類似した予測を出力するよう促す一貫性正則化損失を適用する。
• 各順伝播が入力グラフの異なる摂動バージョン上で動作する確率的訓練手順を用いる。
• クリーンデータ上の交差エントロピー損失と摂動データ上の一貫性損失の両方を最適化することで、モデルをエンドツーエンドで最適化する。
• ハイパーパrameter ε を用いてエッジ摂動の大きさを制御し、ロバストネスと精度のトレードオフを可能にする。
• 摂動をエッジの一部に限定することで計算効率を維持し、大規模グラフへのスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 数十万から数百万ノードを有する大規模グラフに、敵対的ロバストネスを効果的にスケーリングできるか？
• RQ2 摂動されたグラフにおける一貫性正則化は、クリーン精度を低下させることなくロバストネスを向上させるか？
• RQ3 提案手法は、既存の防御手法と比較してロバストネスおよびスケーラビリティの面で優れているか？
• RQ4 摂動強度 ε とクリーンデータおよび敵対的データ上のモデル性能との最適なトレードオフは何か？
• RQ5 本手法は、多様なグラフ構造およびノード特徴分布に一般化可能か？

主な発見

• 提案手法は、大規模なキャピタルおよびソーシャルネットワークにおいて、ベースライン防御よりも最大20%高いロバスト精度を達成している。
• ogbn-arxivデータセットでは、強力なFGSM攻撃下でも80%を超えるクリーン精度を維持しながら、65%のロバスト精度を達成している。
• 100万ノードを超えるグラフに対しても効率的にスケーリングでき、トレーニング時間はグラフサイズに比例して線形に増加する。
• 一貫性正則化は特に中程度のエッジ摂動（ε ≈ 0.3）と組み合わせた場合、ロバストネスを顕著に向上させる。
• GCN、GAT、GraphSAGEを含むさまざまなGNNアーキテクチャにわたり、一般化性能が良好である。
• 大規模グラフにおいて、標準的な敵対的訓練や他のロバストネス技術と比較して、クリーン精度およびロバスト精度の両面で優れている。