[論文レビュー] Robust Optimization as Data Augmentation for Large-scale Graphs

Kezhi Kong, Guohao Li+6 more|arXiv (Cornell University)|Oct 19, 2020

Advanced Graph Neural Networks被引用数 10

ひとこと要約

この論文は、トレーニング中にノード特徴量に無料の勾配ベースの adversarial パーティクルを適用することにより、一般化性能を向上させる汎用的でスケーラブルなデータ拡張手法である FLAG を提案する。グラフ構造を変更せずに小さな入力の変動に強いモデルを構築することで、ノード分類、リンク予測、グラフ分類のタスクにおいてテスト精度を向上させる。GAT を用いた ogbn-products では、2.31% の絶対的向上を達成した。

ABSTRACT

Data augmentation helps neural networks generalize better by enlarging the training set, but it remains an open question how to effectively augment graph data to enhance the performance of GNNs (Graph Neural Networks). While most existing graph regularizers focus on manipulating graph topological structures by adding/removing edges, we offer a method to augment node features for better performance. We propose FLAG (Free Large-scale Adversarial Augmentation on Graphs), which iteratively augments node features with gradient-based adversarial perturbations during training. By making the model invariant to small fluctuations in input data, our method helps models generalize to out-of-distribution samples and boosts model performance at test time. FLAG is a general-purpose approach for graph data, which universally works in node classification, link prediction, and graph classification tasks. FLAG is also highly flexible and scalable, and is deployable with arbitrary GNN backbones and large-scale datasets. We demonstrate the efficacy and stability of our method through extensive experiments and ablation studies. We also provide intuitive observations for a deeper understanding of our method.

研究の動機と目的

• 大規模で現実世界のグラフデータセット上で学習する GNN の過学習および一般化性能の低さという課題に対処すること。
• 特にノード特徴量空間において、効果的なグラフ構造データのデータ拡張技術の不足を克服すること。
• グラフトポロジーを変更せず、タスク固有の設計を必要としない、スケーラブルで汎用的な手法を開発し、GNN のパフォーマンスを向上させること。
• 特徴量空間における adversarial 学習が、特に分布外のサンプルに対して一般化を向上させられるかどうかを調査すること。
• グラフ学習における adversarial 拡張が、視覚分野とは異なり、入力データの分布に依存して異なる挙動を示すかどうかを示すこと。

提案手法

• トレーニング中にノード特徴量に直接勾配ベースの adversarial パーティクルを適用する、FLAG（Free Large-scale Adversarial Augmentation on Graphs）を提案する。
• Shafahi et al. (2019) が提唱した「無料の」adversarial 学習（free adversarial training）を活用し、最小限の計算オーバーヘッドでパラメータを生成する。
• 異なるパラメータの大きさに対応するマルチスケールの adversarial 拡張を適用し、多様な摂動に対して耐性を持たせ、一般化性能を向上させる。
• グラフ構造は変更せず、ノード特徴量のみを変更することで、トポロジーに基づくデータ拡張手法とは直交する。
• GCN、GAT、GraphSAGE、GIN、DeeperGCN などの任意の GNN バックボーンに、最小限のコード変更（PyTorch で十行程度）で統合可能である。
• 反復的な FGSM スタイルのパラメータを用いて、損失関数を最大化しつつラベルの一貫性を保つ adversarial 例を生成する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造を変更せずにノード特徴量空間における adversarial パーティクルが、GNN の一般化性能を向上させられるか？
• RQ2 トポロジーに基づく拡張と比較して、特徴量空間における adversarial 拡張のパフォーマンスとスケーラビリティはどのように異なるか？
• RQ3 adversarial 拡張の有効性は、ノード特徴量のデータ分布、特に離散的・連続的特徴量に依存するか？
• RQ4 adversarial 学習は、一般的に標準性能を損なうとされるが、GNN におけるクリーン精度を向上させられるか？
• RQ5 FLAG は、大規模ベンチマーク上で、ノード分類、リンク分類、グラフ分類の多様な GNN アーキテクチャとタスクに対してどのように性能を発揮するか？

主な発見

• GAT に FLAG を適用した ogbn-products では、テスト精度が 2.31% 向上し、ノード分類タスクにおける顕著なパフォーマンス向上を示した。
• ogbl-ddi におけるリンク予測性能も FLAG で向上し、複数の GNN バックボーンで Hits@20 スコアが向上した。
• ogbg-molhiv におけるグラフ分類精度も FLAG で向上し、GIN や GraphSAGE を含むさまざまな GNN アーキテクチャで一貫した向上を示した。
• DeeperGCN のような深層 GNN に対しても FLAG は一般化性能を向上させ、ogbn-arxiv における深さの増加に伴い一貫した精度向上を示した。
• MLP に対しても FLAG は有効であり、ogbn-products（61.06% → 62.41%）および ogbn-arxiv（55.50% → 56.02%）で効果を示した。これは GNN に限らない有効性を示している。
• ノード特徴量の構築方法に依存して成功が左右される：特徴量を 'mean' ではなく 'sum' を用いることで、不変性が向上し、FLAG におけるパフォーマンス向上も顕著になった。