[論文レビュー] Adversarial Attacks on Graph Neural Networks via Meta Learning

Daniel Zügner, Stephan Günnemann|arXiv (Cornell University)|Feb 22, 2019

Adversarial Robustness in Machine Learning被引用数 368

ひとこと要約

本研究は、グラフニューラルネットワークのノード分類に対する学習時（poisoning）攻撃を、グラフを最適化すべきハイパーパラメータとして扱うメタ勾配を用いて行う。小さく制約されたグラフの摂動が性能を大幅に低下させ、モデル間・タスク間で転移することを示す。

ABSTRACT

Deep learning models for graphs have advanced the state of the art on many tasks. Despite their recent success, little is known about their robustness. We investigate training time attacks on graph neural networks for node classification that perturb the discrete graph structure. Our core principle is to use meta-gradients to solve the bilevel problem underlying training-time attacks, essentially treating the graph as a hyperparameter to optimize. Our experiments show that small graph perturbations consistently lead to a strong decrease in performance for graph convolutional networks, and even transfer to unsupervised embeddings. Remarkably, the perturbations created by our algorithm can misguide the graph neural networks such that they perform worse than a simple baseline that ignores all relational information. Our attacks do not assume any knowledge about or access to the target classifiers.

研究の動機と目的

• ターゲットモデルにアクセスできない状態で、ノード分類のためのグラフニューラルネットワークに対する学習時（poisoning）攻撃を実証する。
• 攻撃の影響を最大化するために、グラフ構造をハイパーパラメータとして最適化するメタ学習ベースの手法を開発する。
• 小さな制約付き摂動が性能を劣化させ、異なるモデルやタスクへ転移することを示す。

提案手法

• 攻撃者の損失を訓練後に最大化するようにグラフを摂動させるビレベル最適化として poison を定式化する。
• グラフの変更が訓練済みモデルの性能にどのように影響するかを計算するためにメタ勾配を用いる。
• 離散性を緩和して勾配ベースの更新を可能にし、疎性を保つために各エッジごとに貪欲なスコアリング規則を適用する。
• 代理の2層GCN風モデルを用い、複数のデータセット（Cora-ML、Citeseer、PolBlogs）で攻撃を評価する。
• 攻撃者の損失として2つを考慮する：負の訓練損失と負の自己ラベル損失（伝播設定）。
• 計算負荷を低減しつつ攻撃の有効性を維持するための一階メタ勾配近似を提供する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットモデルにアクセスできない状態で、グラフ全体のノード分類性能をpoisoning攻撃で低下させることができるか？
• RQ2 トレーニング結果を悪化させるグラフ摂動を効率的に特定するためにメタ勾配を利用できるか？
• RQ3 攻撃は異なるグラフニューラルネットワークや評価タスク（監督付き・非監督）へ転移するか？

主な発見

• メタ勾配ベースの攻撃は、データセットおよびモデル全体でラベルなしノードの誤分類率を大幅に高める。
• 自己学習の相乗効果（ Meta-Self ）は、テスト済みのバリアントの中で最も強い性能低下をもたらす。
• 近似メタ勾配法（メモリ効率が良い）は、しばしばベースラインと同等かそれを上回り、効果を維持する。
• 限定的な知識環境（部分グラフ）でも攻撃は有効であり、未知のモデルへ転移する。
• 攻撃は性能をグラフのみのベースラインを下回るまで低下させることができ、訓練ダイナミクスが主要な故障要因であることを示す。