[論文レビュー] GPT-GNN: Generative Pre-Training of Graph Neural Networks

Ziniu Hu, Yuxiao Dong+3 more|arXiv (Cornell University)|Jun 27, 2020

Advanced Graph Neural Networks参考文献 46被引用数 71

ひとこと要約

GPT-GNN は、ラベルなしの大規模グラフ上で、属性付きグラフ生成（属性）とエッジ生成（構造）を同時にモデル化することで GNN を事前学習し、少数のラベルで下流タスクを微調整する。これにより、Open Academic Graph および Amazon データで有意な向上を達成する。

ABSTRACT

Graph neural networks (GNNs) have been demonstrated to be powerful in modeling graph-structured data. However, training GNNs usually requires abundant task-specific labeled data, which is often arduously expensive to obtain. One effective way to reduce the labeling effort is to pre-train an expressive GNN model on unlabeled data with self-supervision and then transfer the learned model to downstream tasks with only a few labels. In this paper, we present the GPT-GNN framework to initialize GNNs by generative pre-training. GPT-GNN introduces a self-supervised attributed graph generation task to pre-train a GNN so that it can capture the structural and semantic properties of the graph. We factorize the likelihood of the graph generation into two components: 1) Attribute Generation and 2) Edge Generation. By modeling both components, GPT-GNN captures the inherent dependency between node attributes and graph structure during the generative process. Comprehensive experiments on the billion-scale Open Academic Graph and Amazon recommendation data demonstrate that GPT-GNN significantly outperforms state-of-the-art GNN models without pre-training by up to 9.1% across various downstream tasks.

研究の動機と目的

• 下流のGNNタスクに対するラベリング要件を、ラベルなし大規模グラフ上での自己教師付き事前学習を活用して削減する。
• ノード属性とグラフ構造の両方をモデル化して、内在的なグラフ意味論と依存関係を捉える。
• 十億規模のグラフや異種グラフにスケールする効率的な事前学習フレームワークを提供する。
• 実世界データセットで、時間と分野の設定を超えた事前学習済みGNNの転移性を示す。

提案手法

• 属性生成とエッジ生成の尤度を因子分解し、グラフ生成タスクを提案する。
• ノード属性とエッジの相互作用を捉える依存性を考慮した因子分解を用いる。
• トレーニング時の情報漏洩を避けるため、ノードを属性生成ノードとエッジ生成ノードに分割する。
• ノード順序に対する自己回帰的グラフ生成目的を用い、属性とエッジに対して分離したデコーディング方式を採用する。
• マスクされた属性を予測するデコーダで属性生成損失を最適化し、候補隣接ノードに対するコントラストデコーダでエッジ生成損失を最適化する。
• 大規模グラフに対して大規模ネガティブサンプルを提供する適応的エンベディングキューを活用し、サブグラフベースの学習を可能にする。
• サブグラフサンプリング（LADIES/HGSampling）とグローバル信号を保持するAdaptive Queueを用いて、異種グラフや非常に大規模なグラフへフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 自己 supervisod 学習の生成的事前学習目的が、ラベルが限られた場合に下流のGNNパフォーマンスを向上させるか。
• RQ2 事前学習中のノード属性とグラフ構造の結合を、どのように効果的にモデル化するか。
• RQ3 GPT-GNNは十億規模のグラフへスケール可能で、異種グラフにも適用できるか。
• RQ4 時空間転移設定や分野転移設定は、学習表現の未知データへの頑健な転移をサポートするか。
• RQ5 属性生成とエッジ生成のどちらが下流の利得に寄与するか。

主な発見

• GPT-GNN は Open Academic Graph (OAG) および Amazon データ上で、最先端の非事前学習モデルと比較して平均で最大 9.1% の下流ノード分類とリンク予測の性能向上を実現できる。
• フレームワークは、異なるベースGNNと転移設定の下で一貫して性能を向上させる。
• 属性生成とエッジ生成の各コンポーネントは性能に寄与し、それらの組み合わせが最良の結果をもたらす。
• 大規模なサブグラフサンプリングとキューによる適応的ネガティブサンプリングを用いることで、十億ノード規模のグラフにもスケールし、巨大な異種グラフの処理を可能にする。
• 大規模グラフ（OAG 約1.79億ノード、20億エッジ; Amazon 約1.13億ノード）での事前学習は、ラベルが限られた下流タスクへの時間転移と分野転移を効果的に実現する。