[論文レビュー] Adversarial Examples on Graph Data: Deep Insights into Attack and Defense

Huijun Wu, Chen Wang+4 more|arXiv (Cornell University)|Mar 5, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用数 105

ひとこと要約

本論文は、Graph Convolutional Networks (GCN) に対する integrated-gradients に基づく攻撃と、異なるノード間のエッジを除去する軽量な前処理防御を導入し、グラフデータに対する敵対的摂動に対するロバスト性を向上させる。

ABSTRACT

Graph deep learning models, such as graph convolutional networks (GCN) achieve remarkable performance for tasks on graph data. Similar to other types of deep models, graph deep learning models often suffer from adversarial attacks. However, compared with non-graph data, the discrete features, graph connections and different definitions of imperceptible perturbations bring unique challenges and opportunities for the adversarial attacks and defenses for graph data. In this paper, we propose both attack and defense techniques. For attack, we show that the discreteness problem could easily be resolved by introducing integrated gradients which could accurately reflect the effect of perturbing certain features or edges while still benefiting from the parallel computations. For defense, we observe that the adversarially manipulated graph for the targeted attack differs from normal graphs statistically. Based on this observation, we propose a defense approach which inspects the graph and recovers the potential adversarial perturbations. Our experiments on a number of datasets show the effectiveness of the proposed methods.

研究の動機と目的

• グラフニューラルネットワーク (GNNs) とグラフ上のノード分類におけるロバスト性の課題を動機づける。
• 離散的なグラフ入力に適した効果的な敵対的攻撃手法を開発する。
• GCNのロバスト性を高めるためにグラフ前処理を活用した防御戦略を提案する。
• 攻撃の有効性と防御の効率を実証するために実世界のグラフデータセットで実証評価を提供する。

提案手法

• Semi-supervised node classification のために Graph Convolutional Networks (GCN) を採用し、敵対的摂動に対する脆弱性を分析する。
• integrated gradients guided attacks (IG-FGSM and IG-JSMA) を提案し、特徴量とエッジがバイナリ/1-0 である離散的なグラフデータに対処し、integrated gradients を用いて摂動を優先順位づけする。
• 摂動予算を定義し、IG スコアに基づいてエッジまたは特徴を反復的に摂動させる IG-JSMA の擬似コードを用いる。
• エッジの重みを学習可能にすることで防御を調査するほか、より効率的には訓練前に dissimilar nodes を結ぶエッジを削除する（低い Jaccard 類似度）グラフ前処理ステップによる防御を検討する。
• CORA-ML、Citeseer、Polblogs のデータセットで分類マージンと精度を用いて攻撃の有効性を評価する。IG-JSMAをFGSM、JSMA、nettackなどのベースラインと比較する。
• エッジ摂動が特徴摂動よりなぜ影響力が大きいのか、類似度ベースのエッジ削除がどのように攻撃を緩和するかを分析する。

実験結果

リサーチクエスチョン

• RQ1 integrated gradients は離散的特徴と重みなしエッジを持つグラフにおける敵対的摂動の指針として正確に機能するだろうか。
• RQ2 IG-guided 攻撃はグラフデータ上で従来の勾配ベースの攻撃と比較して有効性と安定性の点でどう違うか。
• RQ3 GCN の攻撃成功を減らしつつモデル性能を保つ防御戦略にはどんなものがあるか。
• RQ4 ノード特徴の類似性に基づく前処理（例: Jaccard 類似度）は、GCN に対する標的型攻撃を効果的に防ぐだろうか。

主な発見

• IG-JSMA は対象ノードの分類マージンを低下させる点でベースライン（ランダム、FGSM、nettack）を上回り、CORA、Citeseer、Polblogs のデータセットで優れた性能を示した。
• Integrated gradients は離散的グラフデータに対する攻撃の指標推定において、元の勾配よりも正確で安定した重要度推定を提供する。
• エッジ摂動は攻撃全般（FGSM、JSMA、nettack、IG-JSMA）において、特徴摂動よりも対象分類を侵害する効果が高い。
• 類似度の低いノードを結ぶエッジを削除することで、クリーンな精度の喪失がごく小さくまたは無く、攻撃に対してロバスト性が向上する防御は攻撃に対して頑健である。
• 学習可能な隣接行列（エッジ重み）を用いた訓練は、以前に攻撃されたノードの正しい分類を回復でき、適応的なグラフ構造を介したロバスト性の向上を示唆する。
• 防御は前処理ステップの計算効率を O(N) の複雑度で維持し、訓練時間への影響は最小限である。