[論文レビュー] Local Augmentation for Graph Neural Networks

Songtao Liu, Ying, Rex+7 more|arXiv (Cornell University)|Sep 8, 2021

Advanced Graph Neural Networks参考文献 62被引用数 19

ひとこと要約

本稿では、中心ノードの表現を条件として、学習された生成モデルを用いて合成近隣特徴を生成する、プラグアンドプレイなデータ拡張フレームワークであるグラフニューラルネットワークのためのローカル拡張（LAGNN）を提案する。訓練中にこれらの生成された特徴を注入することで、LAGNNはGNNの性能を向上させ、Cora、Citeseer、PubMedにおいてそれぞれGCNおよびGATと比較して平均で3.4%および1.6%のテスト精度向上を達成し、最先端の結果を実現する。

ABSTRACT

Graph Neural Networks (GNNs) have achieved remarkable performance on graph-based tasks. The key idea for GNNs is to obtain informative representation through aggregating information from local neighborhoods. However, it remains an open question whether the neighborhood information is adequately aggregated for learning representations of nodes with few neighbors. To address this, we propose a simple and efficient data augmentation strategy, local augmentation, to learn the distribution of the node features of the neighbors conditioned on the central node's feature and enhance GNN's expressive power with generated features. Local augmentation is a general framework that can be applied to any GNN model in a plug-and-play manner. It samples feature vectors associated with each node from the learned conditional distribution as additional input for the backbone model at each training iteration. Extensive experiments and analyses show that local augmentation consistently yields performance improvement when applied to various GNN architectures across a diverse set of benchmarks. For example, experiments show that plugging in local augmentation to GCN and GAT improves by an average of 3.4\% and 1.6\% in terms of test accuracy on Cora, Citeseer, and Pubmed. Besides, our experimental results on large graphs (OGB) show that our model consistently improves performance over backbones. Code is available at https://github.com/SongtaoLiu0823/LAGNN.

研究の動機と目的

• 疎な近隣接続性を示す低次数ノードにおけるGNNの表現力の制限を解消すること。
• 実際の近隣ノードを越えて局所的近隣情報の豊かさを高めることで、ノード表現学習を改善すること。
• 任意のGNNアーキテクチャと互換性を持つ汎用的で、プラグアンドプレイなデータ拡張フレームワークを開発すること。
• グローバルレベルのデータ拡張の限界を克服するため、局所的でノードに依存した特徴生成に焦点を当てる。
• 強化された近隣特徴の多様性を保つことで、局所性を維持し、過剰なスムージングを軽減すること。

提案手法

• 中心ノードの特徴を条件として、近隣ノード特徴の分布を学ぶために、条件付き生成モデルを事前学習する。
• 各訓練イテレーションにおいて、中心ノードの近隣のための、学習された条件付き分布から合成特徴ベクトルをサンプリングする。
• 生成された特徴は元の特徴と連結され、バックボーンGNNモデルに供給される。
• 生成モデルはGNNの訓練から分離されており、任意のGNNアーキテクチャと簡単に統合可能である。
• 条件付き分布をモデル化するために、変分オートエンコーダーに類似したフレームワークを活用する。
• 追加のラベルを必要とせず、自己教師ありの形でエンドツーエンドに適用される。

実験結果

リサーチクエスチョン

• RQ1 中心ノードの近隣特徴を合成的に生成する局所的データ拡張は、低次数ノードにおけるGNN性能の向上に寄与するか？
• RQ2 中心ノードの表現に条件付けられた近隣特徴の生成は、グローバル拡張と比較してより優れたノード表現をもたらすか？
• RQ3 プラグアンドプレイな拡張フレームワークは、複数のベンチマークで多様なGNNアーキテクチャを一貫して向上させるか？
• RQ4 局所的拡張は、深層GNNにおける過剰スムージングにどのように影響を与えるか？
• RQ5 本手法は、Open Graph Benchmark (OGB) に含まれるような大規模グラフにも一般化可能か？

主な発見

• Cora、Citeseer、PubMedにおいて、LAGNNはGCNと比較して平均3.4%、GATと比較して平均1.6%のテスト精度向上を達成した。
• Pubmedでは、次数が[2,5]のノードで1.7%、[6,20]のノードで0.2%のテスト精度向上を達成した。
• 半教師ありノード分類タスクにおいて、DropEdge、G-GNN、G aug などの既存のトポロジー・レベルおよび特徴レベルの拡張ベースラインを上回った。
• MADgap指標は、LAGCNが層をまたいで表現の多様性を維持または向上させることを示しており、過剰スムージングの軽減を裏付けている。
• GCN、GAT、その他のGNNアーキテクチャを含め、複数のGNNアーキテクチャにわたり有効であるため、広範な互換性と一般化能力を示した。
• アブレーションスタディにより、近隣特徴の条件付き生成が不可欠であり、ランダムまたは非条件付き拡張では劣った結果が得られることが確認された。