[論文レビュー] A Theoretical Comparison of Graph Neural Network Extensions

Pál András Papp, Roger Wattenhofer|arXiv (Cornell University)|Jan 30, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

この論文は、標準的なGNNが1-WLテストに制限を受ける問題を克服するための、3つの新しいGNN拡張——部分グラフ前処理（Sₖ）、近隣前処理（Nₖ）、ノードマークイング（Mₖ）——を導入し、比較する。新たな表現力の階層を確立し、k ≥ 3 のとき Sₖ は Mₖ よりも厳密に表現力が強いことを示す。また、Mₖ は Nₖ が区別できないグラフを区別できるが、Sₖ は (k+1)-サイクルを数えることができないことを証明し、部分グラフベースのアプローチの根本的な限界を浮き彫りにする。

ABSTRACT

We study and compare different Graph Neural Network extensions that increase the expressive power of GNNs beyond the Weisfeiler-Leman test. We focus on (i) GNNs based on higher order WL methods, (ii) GNNs that preprocess small substructures in the graph, (iii) GNNs that preprocess the graph up to a small radius, and (iv) GNNs that slightly perturb the graph to compute an embedding. We begin by presenting a simple improvement for this last extension that strictly increases the expressive power of this GNN variant. Then, as our main result, we compare the expressiveness of these extensions to each other through a series of example constructions that can be distinguished by one of the extensions, but not by another one. We also show negative examples that are particularly challenging for each of the extensions, and we prove several claims about the ability of these extensions to count cliques and cycles in the graph.

研究の動機と目的

• GNNの表現力を向上させる文献に登場する3つの主要なアプローチ——部分グラフ前処理（Sₖ）、近隣前処理（Nₖ）、ノードマークイング（Mₖ）——を特定し、形式化すること。
• k-WL階層よりも洗練された表現力の階層を構築し、GNN拡張の表現力の新たな階層を確立すること。
• 特定のグラフ構造を1つだけ区別できるが、もう1つは区別できないような明示的なグラフ構成を用いて、各拡張の相対的な表現力を比較すること。
• 各拡張が、クリークやサイクルといった特定の部分構造を、グラフ分類およびノード分類の両設定下でどれだけ数えられるかを分析すること。

提案手法

• 著者らは、3つのGNN拡張を定義する：Sₖ はサイズがk以下のすべての部分グラフを処理し、Nₖ はkホップの誘導近隣を処理し、Mₖ はk個のノードをマークまたは削除して対称性を破る。
• 特定のグラフのペアを構築し、1つの拡張では区別できないが、別の拡張では区別できるようにする。これには、長さが異なるサイクルと、対称性を破るために中央のノードを用いる。
• 各拡張について、特定のグラフ変換（例：サイクル長の変更）に対して不変であることを証明し、グラフを区別できない限界を示す。
• 理論的証明と補題（例：補題C.1、C.2）を組み合わせて、部分グラフや近隣が同型であるような条件下で、埋め込みが同一のまま残ることを示す。
• 拡張同士の比較に加え、古典的なk-WL階層とも比較し、k-WL階層は実用的な比較にはあまりに粗いものであることを示す。
• 部分グラフカウントの能力を分析するため、異なる長さのサイクルが互いに非連結な複数のサイクルを含むグラフを構築し、Sₖ が (k+1)-サイクルを数えられず、Nₖ が (2k+2)-サイクルを数えられないことを証明する。

実験結果

リサーチクエスチョン

• RQ1 Sₖ、Nₖ、Mₖ の表現力はどのように相互に比較できるか。厳密な順序があるのか、それとも相対的に比較不能なのか。
• RQ2 k-WL階層は、GNN拡張の評価のための意味のあるベンチマークとして機能するのか。それとも、実用的な比較にはあまりに粗すぎるのか。
• RQ3 Sₖ、Nₖ、Mₖ は、サイクルやクリークといった特定の部分構造をどれだけ正確に数えられるか。
• RQ4 Mₖ が以前の対称性破壊手法よりも厳密に表現力が強いようなGNN拡張は存在するか。
• RQ5 1つの拡張では区別できるが、もう1つでは区別できないようなグラフペアを構築できるか。そして、これは各アプローチの限界をどのように明らかにするか。

主な発見

• k ≥ 3 のとき、Sₖ は Mₖ よりも厳密に表現力が強い。これは、Sₖ が長さ 2k+1 のサイクルを持つ2つのグラフを区別できるが、Mₖ はその区別ができないという構成によって示される。
• Mₖ は Nₖ よりも厳密に表現力が強い。これは、Mₖ が長いサイクルを持つ2つのグラフを区別できるが、Nₖ はその区別ができないという構成によって示される。
• Sₖ は (k+1)-サイクルを数えられない。これは、長さが異なるサイクルを持つグラフにおいても、部分グラフが同型になるためである。
• Nₖ は (2k+2)-サイクルを数えられない。これは、そのようなグラフにおけるノードのkホップ近隣が、サイクル長にかかわらず同型になるためである。
• k ≥ 3 のとき、Sₖ は Mₖ が区別できないグラフを区別できるが、その逆は成り立たない。これにより、この範囲では Sₖ が Mₖ よりも厳密に優れていることが確立される。
• 論文は、Sₖ がグラフ分類設定において Nₖ よりも表現力が強いことを示しており、Sₖ₊₃ > Nₖ が成り立つが、他の比較に比べて弱い結果である。