[論文レビュー] Topology Attack and Defense for Graph Neural Networks: An Optimization Perspective

Kaidi Xu, Hongge Chen+5 more|arXiv (Cornell University)|Jun 10, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用数 81

ひとこと要約

本論文は、勾配ベースのトポロジー攻撃をグラフニューラルネットワーク（GNN）に対して提案し、凸緩和によるエッジの摂動を用いて、最適化ベースの敵対的訓練法を提案してこのような攻撃に対する頑健性を向上させる。CoraとCiteseerで限られたエッジ摂動のもとで有効性を示し、敵対的訓練による頑健性の向上を実証する。

ABSTRACT

Graph neural networks (GNNs) which apply the deep neural networks to graph data have achieved significant performance for the task of semi-supervised node classification. However, only few work has addressed the adversarial robustness of GNNs. In this paper, we first present a novel gradient-based attack method that facilitates the difficulty of tackling discrete graph data. When comparing to current adversarial attacks on GNNs, the results show that by only perturbing a small number of edge perturbations, including addition and deletion, our optimization-based attack can lead to a noticeable decrease in classification performance. Moreover, leveraging our gradient-based attack, we propose the first optimization-based adversarial training for GNNs. Our method yields higher robustness against both different gradient based and greedy attack methods without sacrificing classification accuracy on original graph.

研究の動機と目的

• 摂動予算の下でエッジが追加または削除される GNN のトポロジー攻撃を動機づけ、形式化する。
• 一時的最適化法（PGD と min-max 攻撃）を開発し、効果的なトポロジー摂動を生成する。
• 原データの精度を失うことなく、トポロジー攻撃に対して頑健性を向上させる GNN の敵対的訓練を提案する。
• 凸緩和と射影法による離散的グラフ摂動を扱う理論的およびアルゴリズム的ツールを提供する。

提案手法

• エッジ摂動をブール対称摂動行列 S でモデル化し、最適化を扱いやすくするため連続変数 s in [0,1]^n に緩和する。
• ノードレベルの誤分類のための攻撃損失（CE型およびCW型）を定義し、2つの脅威モデル（固定重み GNN と再訓練可能な GNN） の下で攻撃問題を定式化する。
• 投影演算子を含む摂動集合への投影を備えたPGDベースのトポロジー攻撃を開発（命題1の閉形式投影演算子を含む）。
• 内側の重み再訓練と外側のエッジ摂動更新を交互に処理するミンマックス型トポロジー攻撃を開発（アルゴリズム3）。
• 最悪ケースの摂動に対してWを訓練する敵対的訓練（ミニマックス）を提案する（アルゴリズム4）。
• 方法論をスペクトルグラフ理論と頑健最適化原理に基づかせる。

実験結果

リサーチクエスチョン

• RQ1 限られたエッジ変更予算の範囲で、GNNに対するトポロジー摂動を最適に生成するにはどうすればよいか。
• RQ2 一次最適化（PGD、min-max）はエッジ破損予算の下で強力なトポロジー攻撃を生み出せるか、既存の攻撃とどう比較されるか。
• RQ3 これらのトポロジー攻撃に基づく敵対的訓練は、クリーンなグラフでの精度を損なうことなく GNN の頑健性を向上させるか。
• RQ4 固定重み攻撃と再訓練可能な重み攻撃の有効性と防御の観点での関係は何か。

主な発見

Attack Method	Cora	Citeseer
clean (natural model)	18.2±0.1	28.9±0.3
DICE	18.9±0.2	29.8±0.4
Greedy	25.2±0.2	34.6±0.3
Meta-Self	22.7±0.3	31.2±0.5
CE-PGD	28.0±0.1	36.0±0.2
CW-PGD	27.8±0.4	37.1±0.5
CE-min-max	26.4±0.1	34.1±0.3
CW-min-max	26.0±0.3	34.7±0.6

• Gradient-based topology attacks outperform several state-of-the-art methods under the same perturbation budget (5% of edges) on Cora and Citeseer.
• PGD-based attacks converge steadily with iterations, demonstrating effective attack loss reduction.
• Min-max topology attacks perform competitively against retrained-model attacks, especially for interactive GCN settings.
• Adversarial training yields notable robustness gains against gradient-based and greedy topology attacks without degrading test accuracy on the original graph.
• Robust models exhibit lower attack success rates across CE-PGD, CW-PGD, and Greedy attacks, with robustness improving as the perturbation budget ε increases (5%–20%).