[論文レビュー] Weisfeiler and Leman go sparse: Towards scalable higher-order graph embeddings

Christopher Morris, Gaurav Rattan+1 more|arXiv (Cornell University)|Apr 2, 2019

Machine Learning in Materials Science参考文献 125被引用数 29

ひとこと要約

本論文は、頂点の次数に基づいて近隣探索を部分集合に制限することで、スケーラビリティと一般化性能を向上させる、k次元Weisfeiler-Lemanアルゴリズムのスパースで局所的な変種、δ-k-LWLを提案する。この手法は、グラフ表現学習におけるスケーラビリティと一般化性能を向上させ、分子回帰のスケールが大きなタスクにおいても、元のk-WLアルゴリズムよりも高い表現力を持ちながら、高速性と一般化性能を両立させ、最先端の性能を達成する。

ABSTRACT

Graph kernels based on the $1$-dimensional Weisfeiler-Leman algorithm and corresponding neural architectures recently emerged as powerful tools for (supervised) learning with graphs. However, due to the purely local nature of the algorithms, they might miss essential patterns in the given data and can only handle binary relations. The $k$-dimensional Weisfeiler-Leman algorithm addresses this by considering $k$-tuples, defined over the set of vertices, and defines a suitable notion of adjacency between these vertex tuples. Hence, it accounts for the higher-order interactions between vertices. However, it does not scale and may suffer from overfitting when used in a machine learning setting. Hence, it remains an important open problem to design WL-based graph learning methods that are simultaneously expressive, scalable, and non-overfitting. Here, we propose local variants and corresponding neural architectures, which consider a subset of the original neighborhood, making them more scalable, and less prone to overfitting. The expressive power of (one of) our algorithms is strictly higher than the original algorithm, in terms of ability to distinguish non-isomorphic graphs. Our experimental study confirms that the local algorithms, both kernel and neural architectures, lead to vastly reduced computation times, and prevent overfitting. The kernel version establishes a new state-of-the-art for graph classification on a wide range of benchmark datasets, while the neural version shows promising performance on large-scale molecular regression tasks.

研究の動機と目的

• グラフ学習におけるk次元Weisfeiler-Leman（k-WL）アルゴリズムのスケーラビリティと過学習の問題に対処すること。
• 各kタプルごとに近隣の部分集合のみを考慮するk-WLの局所的変種を開発し、計算効率を向上させること。
• 非同型のグラフを区別する能力において、k-WLの表現力を維持または上回ること。
• δ-k-LWLと同等の表現力を有するが、密度型k-WLに基づくGNNよりも一般化性能に優れた神経ネットワークアーキテクチャ、δ-k-LGNNを設計すること。
• ベンチマーク上のグラフ分類および大規模分子回帰タスクにおける手法の実証的検証を行うこと。

提案手法

• 頂点の次数に基づいて近隣探索を部分集合に制限することで、計算コストを低減する、k-WLの局所的変種であるδ-k-LWLを提案する。
• 構成する頂点の次数に基づいて、kタプル間の局所的隣接関係を定義し、スパース計算を可能にする。
• 最終反復でラベル関数（#）を追加することで、過学習を防止する拡張版であるδ-k-LWL+を導入する。
• 局所的近隣集約を用いることで、δ-k-LWLと同等の表現力を有する高階GNNアーキテクチャ、δ-k-LGNNを開発する。
• δ-k-LWLをGNNの一般化理論と結びつけ、密度型k-WLに基づくモデルよりも優れた一般化性能を示す。
• 非同型グラフのペアを階層的に構築することで、δ-k-LWLがk-WLよりも表現力が向上していることを実証する。

実験結果

リサーチクエスチョン

• RQ1 k-WLの局所的変種は、元のk-WLよりも非同型のグラフを区別する能力が高いか？
• RQ2 頂点の次数に基づいて近隣サイズを制限することで、グラフ学習におけるスケーラビリティと過学習の低減が図れるか？
• RQ3 局所的k-WLに基づく神経ネットワークアーキテクチャは、k-WLと同等の表現力を有しながら、より優れた一般化性能を達成できるか？
• RQ4 精度、速度、一般化性能の観点から、提案手法は最先端のグラフカーネルおよびGNNと比較してどのように評価されるか？
• RQ5 局所的k-WLアプローチは、大規模分子回帰タスクにスケーリング可能であり、高いパフォーマンスを維持できるか？

主な発見

• δ-k-LWLアルゴリズムは、元のk-WLよりも厳密に表現力が高く、k-WLでは区別できない非同型のグラフを区別できる。
• δ-k-LWLのカーネル版は、小規模および中規模のグラフ分類ベンチマークの広い範囲で、新たな最先端性能を達成した。
• δ-k-LWLカーネルは、グローバルk-WLおよびWLOA手法と比較して、計算時間を数桁短縮した。
• 神経ネットワークアーキテクチャδ-k-LGNNは過学習を防止し、ZincやAlchemyなどの大規模分子回帰タスクで有望な性能を示した。
• δ-k-LGNNの学習および推論時間は、密度型k-WLに基づくGNNよりも顕著に高速であり、大規模データセットでは数倍の高速化が達成された。
• 過学習の低減と複数のデータセットにわたる一貫性あるパフォーマンスから、この手法は密度型k-WLに基づくモデルよりも一般化性能に優れていることが裏付けられた。