[論文レビュー] Adversarial Training for Graph Neural Networks: Pitfalls, Solutions, and New Directions

Lukas Gosch, Simon Geisler+4 more|arXiv (Cornell University)|Jun 27, 2023

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本論文は GNNs の adversarial training を分析し、トランザクティブ設定における理論的および実証的な落とし穴を明らかにし、頑健性のための学習可能な拡散を提案し、現実的な構造摂動を可能にする局所制約付き adversarial attack（LR-BCD）を導入して、帰納的およびトランザクティブな状況で最先端の頑健性を達成する。

ABSTRACT

Despite its success in the image domain, adversarial training did not (yet) stand out as an effective defense for Graph Neural Networks (GNNs) against graph structure perturbations. In the pursuit of fixing adversarial training (1) we show and overcome fundamental theoretical as well as practical limitations of the adopted graph learning setting in prior work; (2) we reveal that more flexible GNNs based on learnable graph diffusion are able to adjust to adversarial perturbations, while the learned message passing scheme is naturally interpretable; (3) we introduce the first attack for structure perturbations that, while targeting multiple nodes at once, is capable of handling global (graph-level) as well as local (node-level) constraints. Including these contributions, we demonstrate that adversarial training is a state-of-the-art defense against adversarial structure perturbations.

研究の動機と目的

• グラフ学習における adversarial training の理論的・実践的な限界を明らかにする。
• 構造摂動に対する頑健性を向上させるために、柔軟な拡散ベースの GNN を提案する。
• LR-BCD、局所に制約された攻撃を導入し、グローバルおよびノード局所の摂動を捉える。
• 頑健な拡散モデルを用いた転移的および帰納的設定の頑健性の改善を実証する。

提案手法

• adversarial training のためのトランスダクティブ学習設定と帰納的学習設定を対比する。
• 一般的なグラフフィルタを近似するために、学習可能な拡散（monomial 基底と Chebyshev バリアントを用いた GPRGNN）を用いる。
• adversarial training をミックスマックス目的で定式化し、自己訓練の効果を検討する。
• LR-BCD を開発し、局所およびグローバルな摂動予算と、効率的な実現可能摂動の貪欲投影を備える。
• 学習された拡散の多項式・スペクトル・空間的視点を通じた解釈性を提供する。

Figure 1 : Robust diffusion (GPRGNN) vs. GCN on (inductive) Cora-ML. We report adversarial training and standard training.

実験結果

リサーチクエスチョン

• RQ1 トランスダクティブ設定と帰納的設定における GNN に対する adversarial training の限界は何か。
• RQ2 可変性のある学習可能な拡散スキームは、 adversarial training の下でグラフ構造の摂動に対する頑健性を改善できるか。
• RQ3 ノードごとおよびグローバルな予算を尊重する現実的な構造摂動を設計するにはどうすればよいか。
• RQ4 robust な拡散を用いた adversarial training は、 unseen ノードへの帰納的一般化での頑健性向上につながるか。

主な発見

• 転送設定では、 prior の adversarial training からの頑健性の向上は主に自己学習に起因し、対向訓練自体の効果は限定的である。
• 完全な帰納設定では、記憶ベースの頑健性は不可能であり、 adversarial training と自己訓練、さらに robust diffusion の組み合わせが強い一般化を生み出す。
• 学習可能な拡散ベースの GNN（GPRGNN および ChebNetII 系）は、 adversarial pertubations の下で固定畳み込みモデルより大幅に優れている。
• 局所制約付き攻撃（LR-BCD）は、ノードごとの摂動とグローバル摂動の両方を現実的かつ効率的に抑制する。
• 経験的な結果は、 adversarial perturbations の下での最先端の頑健性と、 robust diffusion を用いた帰納的評価で強力なパフォーマンスを示す。

Figure 2 : Robust test-accuracy of a GCN under different training schemes on Cora. Adversarial training uses a PGD-attack (10% pert. edges). Most robustness gains are due to self-training.