[論文レビュー] TUDataset: A collection of benchmark datasets for learning with graphs

Morris, Christopher, Kriege, Nils M.+4 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Graph Neural Networks参考文献 74被引用数 302

ひとこと要約

本論文は TUDataset を紹介します。監督付き学習のための 120 を超えるグラフデータセットのコレクションで、標準化された評価手順、Python データローダ、およびベースラインのカーネルと GNN 実装を備えています；また、サブセット上でのグラフカーネルとグラフニューラルネットワークの比較研究も報告します。

ABSTRACT

Recently, there has been an increasing interest in (supervised) learning with graph data, especially using graph neural networks. However, the development of meaningful benchmark datasets and standardized evaluation procedures is lagging, consequently hindering advancements in this area. To address this, we introduce the TUDataset for graph classification and regression. The collection consists of over 120 datasets of varying sizes from a wide range of applications. We provide Python-based data loaders, kernel and graph neural network baseline implementations, and evaluation tools. Here, we give an overview of the datasets, standardized evaluation procedures, and provide baseline experiments. All datasets are available at www.graphlearning.io. The experiments are fully reproducible from the code available at www.github.com/chrsmrrs/tudataset.

研究の動機と目的

• グラフ学習における評価を標準化するための、Largeで多様なベンチマークグラフデータセットを提供する。
• ドメインを超えたグラフカーネルとグラフニューラルネットワーク（GNNs）間の公正な比較を可能にする。
• コミュニティに対して Python データローダ、ベースライン実装、および再現性のある評価プロトコルを提供する。
• カーネルと GNN のベースライン性能を評価し、伝統的なカーネルが依然として競争力を持つ領域を強調する。

提案手法

• 小分子、バイオインフォマティクス、コンピュータビジョン、ソーシャルネットワーク、合成グラフなどの分野から、120+のグラフデータセットの多様なコレクションを構築・記述する。
• 標準的なデータセット形式と PyTorch Geometric および DGL に対応した Python インターフェースを提供する。
• 一般的なグラフカーネル（例: Weisfeiler-Lehman の派生、SP、Graphlet）と標準的な GNN ベースライン（Gin 派生）を実装し、ベースライン比較を行う。
• カーネルの LibSVM/LibLinear を用いた交差検証、Adam による GNN のエンドツーエンド最適化、一貫したハイパーパラメータ調整など、標準化された評価手法を提案する。
• TUDataset のサブセット上でカーネル法と GNN の実験的比較を実施し、Zinc、QM9、Alchemy などの大規模分子回帰タスクを含める。
• graphlearning.io と GitHub のコードリポジトリとドキュメントで再現性を確保する。

実験結果

リサーチクエスチョン

• RQ1 広範で標準化されたグラフ分類ベンチマークにおいて、古典的なグラフカーネルは現代の GNN とどう比較されるか？
• RQ2 小規模・中規模・大規模なグラフデータセット全体でどのベースラインが最も性能を発揮し、スケーラビリティのトレードオフはどうなるか？
• RQ3 標準化された評価手法は、グラフ学習手法間の公正で再現性の高い比較を可能にするか？
• RQ4 データセットの規模（小〜大）がおのおののカーネルと GNN の相対性能に与える影響は何か？
• RQ5 ドメインを横断する統一的なデータセットコレクションは、グラフ表現学習の進歩をどう促進できるか？

主な発見

• グラフカーネル（特に WL-OA）は小規模データセットで競争力を発揮することが多いが、Gram 行列計算のため大規模データセットにはスケールしない。
• 大規模データセットでは、1-WL カーネルと GNN ベースライン（Gin 派生）が競争力のある性能を示し、一部のデータセット（例：github_stargazers）でニューラル手法が優位に立つ。
• MPNN のような専用アーキテクチャは、汎用的な GNN ベースラインに対して大規模分子回帰タスクで顕著な改善をもたらす。
• 大規模分子タスク（Zinc, Alchemy, QM9）では、明示的な分子アーキテクチャ（MPNN）が基礎の GINE ベースのアプローチを上回り、ドメイン特化モデルの価値を示している。
• 報告された結果全体では、古典的なグラフカーネルと SVM の組み合わせは、特に小規模データセットでグラフ分類において高い競争力を保ち、一部の中〜大型タスクでは GNN が優位性を示す。