[論文レビュー] Adversarial Defense Framework for Graph Neural Network

Shen Wang, Zhengzhang Chen+5 more|arXiv (Cornell University)|May 9, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用数 21

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）の層固有の脆弱性に焦点を当て、二段階の集約とボトルネックパーセプトロンを用い、条件付きGANベースの adversarial contrastive learning を活用することで、耐性を高める新しい敵対的防御フレームワークであるDefNetを提案する。実験の結果、DefNetはさまざまな攻撃に対してGNNの耐性を顕著に向上させ、標準的なGNNが3％にまで低下するFGSM攻撃下でも最大65％の精度を達成する。

ABSTRACT

Graph neural network (GNN), as a powerful representation learning model on graph data, attracts much attention across various disciplines. However, recent studies show that GNN is vulnerable to adversarial attacks. How to make GNN more robust? What are the key vulnerabilities in GNN? How to address the vulnerabilities and defense GNN against the adversarial attacks? In this paper, we propose DefNet, an effective adversarial defense framework for GNNs. In particular, we first investigate the latent vulnerabilities in every layer of GNNs and propose corresponding strategies including dual-stage aggregation and bottleneck perceptron. Then, to cope with the scarcity of training data, we propose an adversarial contrastive learning method to train the GNN in a conditional GAN manner by leveraging the high-level graph representation. Extensive experiments on three public datasets demonstrate the effectiveness of DefNet in improving the robustness of popular GNN variants, such as Graph Convolutional Network and GraphSAGE, under various types of adversarial attacks.

研究の動機と目的

• GNNの層における集約とパーセプトロン部の脆弱性を特定・解消すること。
• 組み合わせ的構造を持つグラフデータにおける離散的敵対的空間の課題を克服し、効果的な敵対的データ拡張を可能にすること。
• 構造的および特徴ベースの摂動を含むさまざまな敵対的攻撃に対してGNNの耐性を向上させること。
• GCN や GraphSAGE などの一般的なGNNバリアントに適用可能なスケーラブルな防御フレームワークを開発すること。

提案手法

• 近隣ノード間のメッセージパッシングを分離することで、ノード表現学習の安定化を図る二段階集約を導入する。
• 入力次元を低減し、高次元入力に起因する敵対的脆弱性を軽減するため、ボトルネックパーセプトロンを採用する。
• 敵対的訓練を条件付きGANとしてモデル化し、高レベルのグラフ表現を補助的監視として用いる敵対的対照的学習（ACL）を提案する。
• 高レベルのグラフ表現を活用して、効果的でグラフ構造に適合した敵対的サンプルの生成を支援し、データ拡張を実現する。
• 生成器がグラフの高レベル構造を条件として敵対的サンプルを生成するように、GNNを条件付きGANの形で訓練する。
• GER（Graph Encoder Refining）とACL（Adversarial Contrastive Learning）モジュールを統合し、統一された防御フレームワーク、DefNetを構築する。

実験結果

リサーチクエスチョン

• RQ1 GNNが敵対的攻撃に対して脆弱である主なアーキテクチャ的要因は何か？
• RQ2 組み合わせ的構造を持つ離散的グラフデータに対して、敵対的訓練を効果的に適応する方法は何か？
• RQ3 条件付きGANを用いて、グラフデータの意味のある敵対的サンプルを生成し、耐性を向上させることは可能か？
• RQ4 本稿で提案する防御フレームワークは、実世界のグラフデータセットにおいて、標準的な敵対的訓練やベースライン防御と比較してどのように優れているか？
• RQ5 DefNetは、さまざまな攻撃タイプに対して、複数のGNNバリアントにおいてどの程度耐性を向上させるか？

主な発見

• DefNetはGNNの耐性を顕著に向上させ、CoraではFGSM攻撃下で標準的なGCNの3％から65％の精度にまで向上させる。
• ACLモジュールは、すべてのデータセットおよびGNNバリアントにおいて、従来の敵対的訓練やノイズ対照的学習を上回る性能を示す。
• 二段階集約とボトルネックパーセプトロンは、モデルの安定性を向上させ、高次元入力の摂動に対する脆弱性を低減する。
• Polblogsでは、ACLを適用したRGCNが攻撃下で74％の精度を達成したのに対し、標準的なRGCNは18％にとどまり、優れた防御性能が示された。
• 攻撃のタイプ（標的・非標的）を問わず、GCN や GraphSage などの複数のGNNバリアントにおいても、本フレームワークは高い性能を維持する。
• アブレーションスタディの結果、GERとACLモジュールの両方が全体の防御性能に顕著な寄与をしていることが確認され、両者の組み合わせが最良の結果をもたらした。