[論文レビュー] A Restricted Black-box Adversarial Framework Towards Attacking Graph Embedding Models

Heng Chang, Yu Rong+6 more|arXiv (Cornell University)|Aug 4, 2019

Advanced Graph Neural Networks参考文献 27被引用数 5

ひとこと要約

本稿では、モデルのパラメータ、ラベル、予測結果にアクセスできない状況下で、隣接行列と特徴行列のみを用いてグラフフィルタを操作することで、グラフ埋め込みモデルを標的とする制限付きブラックボックス敵対的フレームワークGF-Attackを提案する。本手法は、1つのエッジの反転といった最小限の摂動でも、GCN やサンプリングベースの手法を含む多様なモデルに対して優れた攻撃性能を発揮し、実用的なブラックボックス制約下でも高い有効性と転送性を示している。

ABSTRACT

With the great success of graph embedding model on both academic and industry area, the robustness of graph embedding against adversarial attack inevitably becomes a central problem in graph learning domain. Regardless of the fruitful progress, most of the current works perform the attack in a white-box fashion: they need to access the model predictions and labels to construct their adversarial loss. However, the inaccessibility of model predictions in real systems makes the white-box attack impractical to real graph learning system. This paper promotes current frameworks in a more general and flexible sense -- we demand to attack various kinds of graph embedding model with black-box driven. To this end, we begin by investigating the theoretical connections between graph signal processing and graph embedding models in a principled way and formulate the graph embedding model as a general graph signal process with corresponding graph filter. As such, a generalized adversarial attacker: GF-Attack is constructed by the graph filter and feature matrix. Instead of accessing any knowledge of the target classifiers used in graph embedding, GF-Attack performs the attack only on the graph filter in a black-box attack fashion. To validate the generalization of GF-Attack, we construct the attacker on four popular graph embedding models. Extensive experimental results validate the effectiveness of our attacker on several benchmark datasets. Particularly by using our attack, even small graph perturbations like one-edge flip is able to consistently make a strong attack in performance to different graph embedding models.

研究の動機と目的

• モデルのパラメータ、ラベル、予測結果にアクセスできない制限付きブラックボックス設定において、実用的でない敵対的攻撃のギャップを埋める。
• 白ボックスまたは実用的白ボックスの仮定に依存する従来の攻撃手法の限界を克服し、実世界のシステムでは実現不可能な状況を想定する。
• モデル固有の知識やサーヴィレートモデルを必要とせず、さまざまなグラフ埋め込みモデルに適用可能な汎用的な攻撃フレームワークを構築する。
• グラフ埋め込みをグラフ信号処理の問題として定式化し、入力レベルのデータのみを用いてグラフフィルタの最適化により攻撃を実現する。
• 最小限の構造的摂動（例：1エッジの反転）を用いても、現実的な制約下で効果的な攻撃を実現できることを示す。

提案手法

• 隣接行列から導出される学習可能なグラフフィルタを用いて、グラフ埋め込みモデルを一般化されたグラフ信号処理として定式化する。
• グラフフィルタと特徴行列の低ランク近似に基づく埋め込み品質評価指標を構築し、モデルの損失関数にアクセスせずに攻撃を可能にする。
• モデル勾配に依存せずに、元の埋め込み空間からの乖離を最大化する微分可能目的関数を用いて、グラフフィルタを直接最適化する。
• 隣接行列と特徴行列のみに依存して、制約付き最適化問題を解くことで、敵対的エッジ変更（挿入／削除）を実行する。
• モデルの再訓練や変更なしに、GCN やサンプリングベースのモデルを含む複数のグラフ埋め込みモデルに攻撃を適用する。
• モデルのパラメータ、ラベル、予測結果に一切依存しないようにブラックボックス適合性を確保し、隣接行列と特徴行列のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 モデルのパラメータ、ラベル、予測結果にアクセスできない制限付きブラックボックス設定において、グラフ埋め込みモデルに対する敵対的攻撃を効果的に行うことは可能か？
• RQ2 モデル固有の適応なしに、多様なグラフ埋め込みモデルに転送可能な汎用的敵対的攻撃フレームワークをどのように設計できるか？
• RQ3 最小限の構造的摂動（例：1エッジの反転）を用いた場合、制限付きブラックボックス制約下でグラフ埋め込みモデルの性能がどの程度低下するか？
• RQ4 入力レベルの情報のみを用いて、グラフ埋め込みモデルのグラフフィルタを効果的に操作し、下流タスクの性能を低下させることは可能か？
• RQ5 GF-Attackにおけるグラフフィルタの次数（K）が、GCN や SGC などの異なるモデルアーキテクチャにおいて攻撃効果にどのように影響するか？

主な発見

• GF-Attackは、Cora、Citeseer、Pubmed といった全ベンチマークデータセットにおいて、GCN や SGC などの複数のグラフ埋め込みモデルで、すべてのベースライン（Random、Degree、RL-S2V、A_class）を上回る性能を発揮した。
• 1エッジの反転ですら、GF-AttackはGCN や LINE や DeepWalk といったサンプリングベースのモデルの分類精度を一貫して低下させた。
• Citeseerでは、GF-Attackの平均実行時間は1ノードあたり12.78秒であり、RL-S2V（222.80秒）や A_class（146.58秒）よりも顕著に高速で、Random（0.19秒）や Degree（42.21秒）よりも優れた効果を示した。
• GF-Attack-5（K=5のフィルタ次数）は、2層および5層のGCN、およびSGCにおいて最良の攻撃性能を達成しており、高次のフィルタが攻撃効果を向上させることを示した。
• 摂動予算（β）が増加するにつれて攻撃性能が向上し、Coraにおけるマルチエッジ摂動設定でも、GF-Attackはすべてのベースラインを上回った。
• 攻撃はモデル間で転送可能である：GF-AttackはGCNとSGCの両方で性能を低下させることができ、深層GCNやシンプルなモデル（SGC）の両方で効果的であった。