[論文レビュー] FLAG: Adversarial Data Augmentation for Graph Neural Networks

Kezhi Kong, Guohao Li+6 more|arXiv (Cornell University)|May 4, 2021

Advanced Graph Neural Networks参考文献 49被引用数 73

ひとこと要約

FLAGは、トレーニング中にノード特徴量に対して勾配に基づく adversarial パーティクルを繰り返し適用することで、グラフニューラルネットワークのための新しいデータ拡張手法を提案する。この手法は、多様なGNNバックボーンやタスクにおいて一般化性能を顕著に向上させる。アーキテクチャやトレーニングの変更なしに、ogbg-molpcba、ogbg-ppa、ogbg-codeといった大規模グラフデータセットで最先端の性能を達成する。

ABSTRACT

Data augmentation helps neural networks generalize better, but it remains an open question how to effectively augment graph data to enhance the performance of GNNs (Graph Neural Networks). While most existing graph regularizers focus on augmenting graph topological structures by adding/removing edges, we offer a novel direction to augment in the input node feature space for better performance. We propose a simple but effective solution, FLAG (Free Large-scale Adversarial Augmentation on Graphs), which iteratively augments node features with gradient-based adversarial perturbations during training, and boosts performance at test time. Empirically, FLAG can be easily implemented with a dozen lines of code and is flexible enough to function with any GNN backbone, on a wide variety of large-scale datasets, and in both transductive and inductive settings. Without modifying a model's architecture or training setup, FLAG yields a consistent and salient performance boost across both node and graph classification tasks. Using FLAG, we reach state-of-the-art performance on the large-scale ogbg-molpcba, ogbg-ppa, and ogbg-code datasets.

研究の動機と目的

• グラフニューラルネットワークにおける効果的なデータ拡張、特にノード特徴量空間における課題に対処すること。
• トポロジカルな拡張を超えて、入力特徴量空間における adversarial パーティクルがGNNの一般化性能を向上させられるかを検証すること。
• アーキテクチャの変更なしに、多様なデータセットや設定でGNN性能を向上させるシンプルで即挿し可能な手法を開発すること。
• 大規模グラフベンチマークにおいて、誘導的学習と誘導的学習の両設定で一貫した性能向上を達成すること。

提案手法

• FLAGは、トレーニング中にGNNモデルの勾配情報を用いてノード特徴量に対して反復的な adversarial パーティクルを適用する。
• モデルの損失を最大化するようにパラメータを変更することで、微小な入力変動に対するロバストネスを模倣する。
• 制限のない自由形式のアプローチを採用しており、パラメータの大きさや構造に制限がないため、柔軟性とスケーラビリティに優れる。
• パラメータはトレーニング中に適用され、モデルの推論やアーキテクチャに影響を与えない。
• 任意のGNNバックボーンと互換性があり、誘導的学習と誘導的学習の両設定で動作する。
• 軽量な実装であり、実装に十数行のコードで十分である。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴量空間における adversarial パーティクルは、トポロジカルなデータ拡張に比べて、GNNの一般化性能をより効果的に向上させられるか？
• RQ2 シンプルで勾配に基づく特徴量空間の拡張手法は、多様なGNNアーキテクチャとデータセットで一貫した性能向上をもたらすか？
• RQ3 このような手法は、モデルアーキテクチャやトレーニング手順の変更なしに普遍的に適用可能か？
• RQ4 提案手法は、誘導的学習と誘導的学習の両設定において、大規模で現実世界のグラフデータセットでどのように性能を発揮するか？

主な発見

• FLAGは、モデルアーキテクチャやトレーニング設定を変更せずに、ogbg-molpcbaデータセットで最先端の性能を達成した。
• FLAGは ogbg-ppa および ogbg-code でも性能を向上させ、多様な大規模グラフベンチマークで一貫した向上を示した。
• ノード分類およびグラフ分類の両タスクで一貫した顕著な性能向上をもたらした。
• FLAGは誘導的学習と誘導的学習の両設定で有効であり、広範な適用可能性を示した。
• 最小限のコード変更で実装可能であり、任意のGNNバックボーンと互換性がある。
• 性能向上の背景には、adversarial 特徴拡張によるロバストネスと一般化性能の向上があるとされている。