[論文レビュー] Adversarial Attacks on Node Embeddings via Graph Poisoning

Aleksandar Bojchevski, Stephan Günnemann|arXiv (Cornell University)|Sep 4, 2018

Adversarial Robustness in Machine Learning参考文献 50被引用数 97

ひとこと要約

本論文は、ランダムウォークに基づく教師なしノード埋め込みの敵対的なグラフ撹乱に対する頑健性を分析し、埋め込み品質を低下させ、モデル間で転移する効率的な poisioning 攻撃を提案する。

ABSTRACT

The goal of network representation learning is to learn low-dimensional node embeddings that capture the graph structure and are useful for solving downstream tasks. However, despite the proliferation of such methods, there is currently no study of their robustness to adversarial attacks. We provide the first adversarial vulnerability analysis on the widely used family of methods based on random walks. We derive efficient adversarial perturbations that poison the network structure and have a negative effect on both the quality of the embeddings and the downstream tasks. We further show that our attacks are transferable since they generalize to many models and are successful even when the attacker is restricted.

研究の動機と目的

• 教師なしノード埋め込み（特に DeepWalk スタイル、RWベース）の敵対的グラフ撹乱に対する脆弱性を評価する。
• 特徴量なしで、グラフ構造（エッジ）上で動作する効率的なポイズニング攻撃アルゴリズムを、固定予算の下で開発する。
• スペクトルベースの埋め込みへ分析を拡張し、攻撃のモデル間転移性を評価する。
• 制限された攻撃設定の下で、ターゲット型攻撃（ノード分類とリンク予測）を探索する。

提案手法

• 予算内で隣接行列を撹乱して埋め込み損失を最大化するバイレベル攻撃を定式化し、攻撃後に埋め込みを再計算する。
• PMIベースの解釈を用いて DeepWalk が共起行列のランク-K近似に対応することを示し、単一レベルの最適化を可能にする。
• 固有値摂動理論を用いて、完全なSVD再計算なしに損失変化を近似する（定理1）。
• 単一のエッジ反転後のスペクトル変化を境界づける、疎な閉形式近似（定理2）を提供し、迅速な評価を可能にする。
• 代理損失（L_DW3）を最大化するためにエッジ反転の候補集合に対して貪欲選択を行い、計算量は O(|V|·|E| + C|V| log|V|）。
• ターゲット埋め込みを近似することでターゲット攻撃に拡張する（定理3）と、誤分類確率（ノード分類）またはAPスコア（リンク予測）を評価する。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォークに基づく教師なしノード埋め込みは、グラフ構造を撹乱することで意味のある攻撃が可能か。
• RQ2 サンプリングを通じた勾配バックプロパagationなしに、離散的なグラフ領域で敵対的なエッジ反転を効率的に計算するにはどうすればよいか。
• RQ3 ポイズニング攻撃は異なる埋め込みモデル間で転移し、攻撃制限下でも有効か。
• RQ4 ノード分類やリンク予測などの下流タスクに対するターゲット型攻撃の影響は何か。

主な発見

• エッジの敵対的撹乱は、基準と比較して埋め込み品質と下流タスクの性能を著しく低下させる可能性がある。
• 閉形式の勾配なし攻撃（A_DW3）は、勾配ベースのアプローチを上回り、真の損失変化に近い。
• 攻撃は制限予算下で有効であり、対象ノードの一部または候補エッジが限定されている場合でも有効である。
• ターゲット攻撃は高次数ノードの誤分類を引き起こし、リンク予測性能を低下させ、下流指標に顕著な影響を与える。
• 攻撃は複数の RW ベースおよびスペクトル埋め込みアプローチ間で転移性を示し、より広範な脆弱性を示唆する。
• 我々の分析は、敵対的なエッジが単純な中心性ヒューリスティクスで容易に特徴づけられないことを示す。効果的な攻撃には、原理的なスペクトルベースの摂動が関与する。