[論文レビュー] G-Mixup: Graph Data Augmentation for Graph Classification

Xiaotian Han, Zhimeng Jiang+2 more|arXiv (Cornell University)|Feb 15, 2022

Advanced Graph Neural Networks被引用数 44

ひとこと要約

G-Mixupはグラフノンベースのミックスアップをグラフ分類に導入し、クラスグラフノンを補間して合成グラフを生成することで、GNNの一般化と堅牢性をデータセットとアーキテクチャ全体で向上させる。

ABSTRACT

This work develops \emph{mixup for graph data}. Mixup has shown superiority in improving the generalization and robustness of neural networks by interpolating features and labels between two random samples. Traditionally, Mixup can work on regular, grid-like, and Euclidean data such as image or tabular data. However, it is challenging to directly adopt Mixup to augment graph data because different graphs typically: 1) have different numbers of nodes; 2) are not readily aligned; and 3) have unique typologies in non-Euclidean space. To this end, we propose $\mathcal{G}$-Mixup to augment graphs for graph classification by interpolating the generator (i.e., graphon) of different classes of graphs. Specifically, we first use graphs within the same class to estimate a graphon. Then, instead of directly manipulating graphs, we interpolate graphons of different classes in the Euclidean space to get mixed graphons, where the synthetic graphs are generated through sampling based on the mixed graphons. Extensive experiments show that $\mathcal{G}$-Mixup substantially improves the generalization and robustness of GNNs.

研究の動機と目的

• グラフ間データ拡張として、グラフインスタンス間で情報を伝達することを動機づける。
• グラフノンを介してグラフを混ぜる体系的な方法を開発して、合成グラフを生成する。
• 混合されたグラフが元のクラスからの識別モチーフを保存することを示す理論的保証を提供する。
• さまざまなGNNとデータセットに跨る分類性能と堅牢性の実証的向上を示す。

提案手法

• 各クラスを、階段関数近似を用いてそのグラフから推定されたグラフノンで表現する。
• W_I = lambda W_G + (1-lambda) W_Hとして混合グラフノンを計算し、クラス間を補間する。
• 独立同分布のノード位置を用いて、混合グラフノンから G(K, W_I) をサンプリングして合成グラフを生成する。
• ラベル空間のミックスアップを反映させるよう、y_I = lambda y_G + (1-lambda) y_H として合成ラベルを割り当てる。
• グラフノン混合下で識別モチーフのホモモルフィズム密度の変化の境界を示す理論解析を提供する。
• DropEdgeやマニフォールド/エッジ摂動戦略など、既存の拡張手法との関係および特殊ケースについて議論する。

実験結果

リサーチクエスチョン

• RQ1 異なるグラフクラスの識別モチーフは、混合グラフノンと得られるグラフにおいて保存され得るか。
• RQ2 混合グラフノンから生成されたグラフは、元のクラスの構造的特性の混合を保持するか。
• RQ3 G-Mixupはデータセットとバックボーンを跨いで、GNNの精度・一般化・学習安定性を向上させるか。
• RQ4 従来の拡張手法と比較して、G-Mixupはラベルノイズやトポロジーの破損に対して堅牢か。

主な発見

• G-Mixupは複数のGNNバックボーンとデータセットにおいてグラフ分類性能を大幅に向上させる（平均利得: 2.84% は vanilla モデルに対して）。
• 報告された実験全体で、G-Mixupは15件中12件のトップ精度を達成し、ラベル破損とトポロジーの撹乱に対する堅牢性を高める。
• 本手法は訓練を安定化させ、ベースラインと比較してテスト損失が小さく、性能の分散が小さくなることから示される。
• 混合グラフノンからの合成グラフは、源クラスの識別モチーフの混合を視覚的に示す（例: 高次数ノードや密なサブグラフ）。
• 理論的な結果は、グラフノン混合下で識別モチーフ密度の変化に境界を与え、十分なサンプルでモチーフ保存の収束性を示す。