[論文レビュー] Graph Adversarial Training: Dynamically Regularizing Based on Graph Structure

Fuli Feng, Xiangnan He+2 more|arXiv (Cornell University)|Feb 20, 2019

Advanced Graph Neural Networks参考文献 53被引用数 30

ひとこと要約

本稿では、グラフスムーズネス制約を特に標的にする adversarial パーティクルを生成することで、グラフニューラルネットワークのロバストネスを向上させる動的正則化法である Graph Adversarial Training (GraphAT) を提案する。標準的な監視学習と adversarial 正則化を同時に最適化することで、論文の引用および知識グラフにおいて、標準的な GCN 学習より平均 4.51% の精度向上を達成する。

ABSTRACT

Recent efforts show that neural networks are vulnerable to small but intentional perturbations on input features in visual classification tasks. Due to the additional consideration of connections between examples (\eg articles with citation link tend to be in the same class), graph neural networks could be more sensitive to the perturbations, since the perturbations from connected examples exacerbate the impact on a target example. Adversarial Training (AT), a dynamic regularization technique, can resist the worst-case perturbations on input features and is a promising choice to improve model robustness and generalization. However, existing AT methods focus on standard classification, being less effective when training models on graph since it does not model the impact from connected examples. In this work, we explore adversarial training on graph, aiming to improve the robustness and generalization of models learned on graph. We propose Graph Adversarial Training (GraphAT), which takes the impact from connected examples into account when learning to construct and resist perturbations. We give a general formulation of GraphAT, which can be seen as a dynamic regularization scheme based on the graph structure. To demonstrate the utility of GraphAT, we employ it on a state-of-the-art graph neural network model --- Graph Convolutional Network (GCN). We conduct experiments on two citation graphs (Citeseer and Cora) and a knowledge graph (NELL), verifying the effectiveness of GraphAT which outperforms normal training on GCN by 4.51% in node classification accuracy. Codes are available via: https://github.com/fulifeng/GraphAT.

研究の動機と目的

• ノード特徴量に対する小さな標的摂動がグラフスムーズネス制約によって悪化する GNN の脆弱性を解決すること。
• 連結されたノード間の関係的依存関係を無視するため、標準的な adversarial 訓練がグラフでは失敗することを認識すること。
• 摂動が隣接ノードに与える影響を明示的にモデル化することで、グラフベースの学習におけるロバストネスと一般化性能を向上させる手法を開発すること。
• グラフ構造に基づいた動的正則化スキームを定式化し、adversarial 例の生成とモデル最適化をガイドすること。
• 実世界のグラフデータセットにおいて GraphAT の有効性を示し、標準的および既存の adversarial 訓練手法と比較して優れた性能とロバストネスを示すこと。

提案手法

• 摂動生成中に連結ノードの影響をモデル化することで、adversarial 訓練とグラフ構造を統合する汎用フレームワークである GraphAT を提案する。
• 摂動を加えたノードとその隣接ノード間の予測差を最小化するグラフ adversarial 正則化子を定義し、構造的スムーズネスを強制する。
• ノードの予測とその隣接ノードの予測の差を最大化するように adversarial 攻撃を定式化することで、グラフスムーズネス制約を標的にする。
• 完全な2階微分勾配を用いずに、バックプロパゲーションによる線形近似を用いて効率的に adversarial パーティクルを計算する。
• 標準的な GCN 訓練目的関数にグラフ adversarial 正則化子を統合し、監視損失と adversarial 損失の両方をエンドツーエンドで最適化可能にする。
• 最先端の GCN モデルに本手法を適用し、クリーンな例と adversarially パーティクルが加えられた例の両方で訓練することで、ロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノード間の関係的依存関係を考慮することで、adversarial 訓練をグラフニューラルネットワークに効果的に適応できるか？
• RQ2 adversarial 例生成にグラフ構造を組み込むことで、ノード分類タスクにおけるロバストネスと一般化性能が向上するか？
• RQ3 GraphAT は標準的な adversarial 訓練および VAT などの他の正則化手法と比較して、性能とロバストネスの面で優れているか？
• RQ4 GraphAT は、接続されたノードペア間の予測差をどの程度低減させ、構造的スムーズネスを強化するか？
• RQ5 adversarial 攻撃に対するモデルのロバストネスを向上させる一方で、GraphAT は収束速度を遅くしないか？

主な発見

• Citeseer、Cora、NELL の3つのベンチマークデータセットにおいて、標準的な GCN 訓練と比較して、GraphAT は平均して 4.51% の精度向上を達成した。
• ε = 0.01 の adversarial 例において、GCN は平均して 13.9% の精度低下を示したが、GraphAT はわずか 2.9% の低下にとどまり、顕著なロバストネス向上が確認された。
• GraphAT により、接続されたノードペアの予測間のカルバック・ライブラー距離が低減された—Citeseer で 3.8%、Cora で 10.4% 減少—構造的スムーズネスの強化が示された。
• Virtual Adversarial Training (VAT) での訓練を上回る性能を示し、グラフに特化した adversarial 正則化が、標準的な adversarial 訓練よりも効果的であることが証明された。
• GraphAT は初期の訓練エポックで性能向上が著しく速く進む傾向を示し、正則化のみではなく、adversarial 例によるデータ拡張の効果が関与していると考えられる。
• GraphAT は収束速度を遅くしない。訓練精度は標準的な GCN と同様に 100 エポック目で安定化した。