[論文レビュー] Open Graph Benchmark: Datasets for Machine Learning on Graphs

Weihua Hu, Matthias Fey+6 more|arXiv (Cornell University)|May 2, 2020

Advanced Graph Neural Networks参考文献 99被引用数 491

ひとこと要約

Open Graph Benchmark (OGB) は、標準化された分割、評価指標、およびエンドツーエンドのパイプラインを備え、スケーラブルで再現性の高いグラフML研究を推進する多様で大規模なグラフデータセットを提供します。

ABSTRACT

We present the Open Graph Benchmark (OGB), a diverse set of challenging and realistic benchmark datasets to facilitate scalable, robust, and reproducible graph machine learning (ML) research. OGB datasets are large-scale, encompass multiple important graph ML tasks, and cover a diverse range of domains, ranging from social and information networks to biological networks, molecular graphs, source code ASTs, and knowledge graphs. For each dataset, we provide a unified evaluation protocol using meaningful application-specific data splits and evaluation metrics. In addition to building the datasets, we also perform extensive benchmark experiments for each dataset. Our experiments suggest that OGB datasets present significant challenges of scalability to large-scale graphs and out-of-distribution generalization under realistic data splits, indicating fruitful opportunities for future research. Finally, OGB provides an automated end-to-end graph ML pipeline that simplifies and standardizes the process of graph data loading, experimental setup, and model evaluation. OGB will be regularly updated and welcomes inputs from the community. OGB datasets as well as data loaders, evaluation scripts, baseline code, and leaderboards are publicly available at https://ogb.stanford.edu .

研究の動機と目的

• スケーラブルで現実的なグラフMLベンチマークが不足している点を解消するため、ノード、リンク、グラフ予測タスクに跨る大規模で多様なグラフデータセットを導入する。
• ドメイン固有の現実的なデータ分割と評価指標を提供し、公平で再現可能なモデル比較を可能にする。
• 自動化されたエンドツーエンドパイプライン（データ読み込み、分割、評価）と公開リーダーボードを提供し、研究とベンチマーキングを加速する。

提案手法

• Nature、Society、Information のドメインにまたがるデータセットを備えた統一ベンチマークスイート（OGB）を導入する。
• ノード特性予測、リンク特性予測、グラフ特性予測の3つのグラフMLタスクカテゴリを定義する。
• 各データセットに対してドメイン固有の現実的なデータ分割と標準化された評価指標を提供する。
• PyTorch互換フレームワーク内に自動化されたOGBデータローダーと評価器を開発する（PyTorch GeometricおよびDGLのサポートを含む）。
• 代表的なGNNとミニバッチ学習法を全データセットに跨って用いた基準ベンチマークを広範に実施する。
• コード、ベースライン、リーダーボードを公開し、継続的なコミュニティ主導のリポジトリを維持する。

Figure 3 : t-SNE visualization of training/validation/test nodes in ogbn-products .

実験結果

リサーチクエスチョン

• RQ1 大規模で多様なグラフデータセットは、グラフMLモデルのスケーラビリティと一般化能力にどのような影響を与えるのか。
• RQ2 現実的なデータ分割は、ドメイン横断の外分布一般化とモデルの頑健性について何を明らかにするのか。
• RQ3 統一されたデータ読み込み、評価、ベンチマーキングパイプラインは、実世界のグラフ上でGNNsの公正で再現可能な比較を可能にするのか。

主な発見

• OGBデータセットは大規模で、小規模から大規模のグラフを包含し、複数のドメインとタスクをカバーする。
• 現実的な分割（ランダムではない）は、外分布評価における大幅な一般化ギャップと課題を明らかにする。
• メモリ制約下では、ミニバッチGNNがフルバッチに比べて競争力のあるまたは優れた性能を示すことがあり、正則化の恩恵を受ける。
• 現実的な分割の下での訓練とテストの間に顕著な性能ギャップが見られ、一般化の課題を強調する。
• データローダー、評価器、リーダーボードを備えた標準化されたパイプラインは、再現可能なベンチマーキングと進捗追跡を促進する。

Figure 4 : Example input graph in ogbg-code2 , obtained by augmenting the original Python AST. In our AST, node “#1” is always the main function definition (FunctionDef or AsyncFunctionDef), and our goal is predict its tokenized attribute, e.g. , { run , model } in the above example. To avoid data l