[論文レビュー] Weisfeiler and Leman go Machine Learning: The Story so far

Christopher G. Morris, Yaron Lipman+6 more|arXiv (Cornell University)|Dec 18, 2021

Advanced Graph Neural Networks被引用数 28

ひとこと要約

Weisfeiler–Lemanアルゴリズムがグラフの機械学習を支える方法の包括的な調査であり、理論、グラフカーネル、GNN、等変性ネットワーク、および応用を含む。

ABSTRACT

In recent years, algorithms and neural architectures based on the Weisfeiler--Leman algorithm, a well-known heuristic for the graph isomorphism problem, have emerged as a powerful tool for machine learning with graphs and relational data. Here, we give a comprehensive overview of the algorithm's use in a machine-learning setting, focusing on the supervised regime. We discuss the theoretical background, show how to use it for supervised graph and node representation learning, discuss recent extensions, and outline the algorithm's connection to (permutation-)equivariant neural architectures. Moreover, we give an overview of current applications and future directions to stimulate further research.

研究の動機と目的

• Weisfeiler–Lemanアルゴリズムとグラフ同型性のためのその一般化の理論的基盤を調査する。
• WLパラダイムに基づくグラフカーネルアプローチを検討する。
• WLベースの方法とグラフニューラルネットワーク（GNNs）との結びつきを検討する。
• 高次元WL、等変性ニューラルアーキテクチャ、普遍性の結果への拡張について論じる。
• WLによるグラフ学習における現在の応用、課題、将来の研究方向を概説する。

提案手法

• 1-WL（カラー refinement）と非同型グラフを識別する能力について説明する。
• ノードのk個組を着色することにより表現力を高めるため、k次元 WLへ一般化して表現力を高める。
• (oblivious) k-WL変種を導入し、その表現力を比較する。
• WLベースの手法を、等価性と普遍性の結果を介してグラフカーネルおよびニューラルアーキテクチャと関連づける。
• 識別可能性、minor-closedグラフクラス、およびWL次元を含む理論的特性について論じる。

実験結果

リサーチクエスチョン

• RQ1 Weisfeiler–Leman階層はMLにおけるグラフ表現の表現力とどう関連するのか？
• RQ2 識別力と普遍性の観点から、WLベースの手法とグラフニューラルネットワーク（GNNs）の結びつきは何か？
• RQ3 高次元WLと等変性アーキテクチャは、 WLベースのグラフ学習の能力をどのように拡張するか？
• RQ4 MLにおけるWL主導のグラフ手法の実用的影響、応用、および将来の方向性は何か？

主な発見

• 1-WLはグラフ同型性に対する強力でありながら不完全なヒューリスティックを提供し、多くのグラフを区別することがあるが、既知の制限がある。
• WL次元kを増やすと表現力が向上し、k+1-WLはk-WLでは区別できない特定のグラフを区別できる。
• k-WLで区別されないが、(k+1)-WLで区別できるグラフが存在し、表現力の階層を確立している。
• WLとグラフニューラルネットワークの関連は、標準のGNNが1-WLの力に制約される一方、高次元のGNNはより高いWL変種と整合し、ある条件下で普遍性を達成できることを示している。
• 等変性グラフネットワークと高次のグラフネットワークはWL階層と密接に関連し、グラフ構造データに対して強い表現力を持つ原理的なアーキテクチャを提供する。
• WLフレームワークは幅広い応用に影響を与え、WLベースのML手法の表現力、一般化、および頑健性を拡張する将来の方向性を示している。