[論文レビュー] GraphDefense: Towards Robust Graph Convolutional Networks

Xiaoyun Wang, Xuanqing Liu+1 more|arXiv (Cornell University)|Nov 11, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用数 22

ひとこと要約

本稿では、グラフ畳み込みネットワーク（GCN）に対する耐性のある adversarial training 法である GraphDefense を提案する。この手法は、クリーンなグラフ構造と摂動を加えた構造の両方を同時に学習することで、構造的 adversarial 攻撃に対して耐性を高める。本手法は、Reddit を含む小規模および大規模グラフにおいて、高い精度を達成するとともに、高ラベルレートを必要とせず、半教師あり学習の効率性と一般化性能を維持する。

ABSTRACT

In this paper, we study the robustness of graph convolutional networks (GCNs). Despite the good performance of GCNs on graph semi-supervised learning tasks, previous works have shown that the original GCNs are very unstable to adversarial perturbations. In particular, we can observe a severe performance degradation by slightly changing the graph adjacency matrix or the features of a few nodes, making it unsuitable for security-critical applications. Inspired by the previous works on adversarial defense for deep neural networks, and especially adversarial training algorithm, we propose a method called GraphDefense to defend against the adversarial perturbations. In addition, for our defense method, we could still maintain semi-supervised learning settings, without a large label rate. We also show that adversarial training in features is equivalent to adversarial training for edges with a small perturbation. Our experiments show that the proposed defense methods successfully increase the robustness of Graph Convolutional Networks. Furthermore, we show that with careful design, our proposed algorithm can scale to large graphs, such as Reddit dataset.

研究の動機と目的

• GCN がグラフ構造およびノード特徴量の adversarial 変更に対して脆弱であるという問題に取り組む。
• 高ラベルレートを必要とせず、半教師あり学習の効率性を維持する防御手法を開発する。
• 大規模グラフにおけるインダクティブなグラフ学習設定（例：GraphSAGE を用いた場合）において、効果的な adversarial training を可能にする。
• 特徴量の adversarial training とエッジの adversarial training の間の同等性を調査し、耐性向上に寄与する。

提案手法

• 反復的な PGD スタイルの攻撃を用いて、エッジとノード特徴量の両方で adversarial training を行う防御フレームワークである GraphDefense を提案する。
• エッジまたは特徴量の上での投影勾配降下法（PGD）により生成された adversarial 例とクリーンデータを交互に使用する共同学習戦略を導入する。
• 小さな摂動の下では、特徴量の adversarial training とエッジの adversarial training が同等であることを示し、これにより学習を高速化できる。
• インダクティブおよびトランスダクティブなタスクの両方でモデルの一般化性能を維持するように、修正された学習ループを用いた半教師あり設定で手法を適用する。
• メモリおよび計算負荷を軽減するため、大規模グラフ（例：Reddit）にスケーリング可能な隣接ノードサンプリングを GraphSAGE に組み込む。
• クリーン例と adversarial 例のバランスを取るために重み付き損失関数を用い、最適なパフォーマンスを得るためのハイパーパramータ感度を分析する。

実験結果

リサーチクエスチョン

• RQ1 adversarial training は、グラフ畳み込みネットワークに対して、構造的摂動に対する防御として効果的に適用可能か？
• RQ2 ノード特徴量の adversarial training とエッジの adversarial training は、耐性および効率性の観点でどのように比較されるか？
• RQ3 GraphDefense は、高ラベルレートを必要とせず、Reddit のような大規模インダクティブなグラフ学習タスクにおいても高い性能を維持できるか？
• RQ4 耐性と精度の両立を考慮した場合、学習中に adversarial 例とクリーン例の最適な比率は何か？

主な発見

• GraphDefense は、白箱攻撃に対する GCN の耐性を顕著に向上させ、300 回のエッジ攻撃後でも Reddit で 69.69% の精度を達成した。一方、クリーンな GCN では 35.31% にとどまった。
• 特徴量の adversarial training はエッジベースの adversarial training と同等の性能を示し、Cora では特徴量攻撃下で 51% の精度を達成し、ベースライン手法を上回った。
• 本手法は大規模グラフに対しても効果的にスケーリング可能である。GraphSAGE に GraphDefense を適用した場合、50 回のエッジ攻撃後でも 0.8391 の精度を維持し、特徴量のみの adversarial training（0.8406）およびクリーンモデルを上回った。
• 学習中の adversarial 例とクリーン例の比率が極めて重要である。Cora では、100 個のクリーン例に対して 400 個の adversarial 例を用いた場合、精度が 0.622 まで低下した。
• GraphDefense はインダクティブな設定にも良好に一般化される。Reddit という大規模なインダクティブデータセットにおいて、特徴量のみまたはエッジのみの adversarial training を上回る強力な性能を示した。