[論文レビュー] What functions can Graph Neural Networks compute on random graphs? The role of Positional Encoding

Nicolas Keriven, Samuel Vaiter|arXiv (Cornell University)|May 24, 2023

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本論文は、置換不変GNNが潜在位置乱糸グラフ上で近似可能な関数空間を特徴づけ、ノード特徴と位置符号化の役割を明らかにし、広範なPE設計に対する正規化と濃縮性に関する結果を導入します。

ABSTRACT

We aim to deepen the theoretical understanding of Graph Neural Networks (GNNs) on large graphs, with a focus on their expressive power. Existing analyses relate this notion to the graph isomorphism problem, which is mostly relevant for graphs of small sizes, or studied graph classification or regression tasks, while prediction tasks on nodes are far more relevant on large graphs. Recently, several works showed that, on very general random graphs models, GNNs converge to certains functions as the number of nodes grows. In this paper, we provide a more complete and intuitive description of the function space generated by equivariant GNNs for node-tasks, through general notions of convergence that encompass several previous examples. We emphasize the role of input node features, and study the impact of node Positional Encodings (PEs), a recent line of work that has been shown to yield state-of-the-art results in practice. Through the study of several examples of PEs on large random graphs, we extend previously known universality results to significantly more general models. Our theoretical results hint at some normalization tricks, which is shown numerically to have a positive impact on GNN generalization on synthetic and real data. Our proofs contain new concentration inequalities of independent interest.

研究の動機と目的

• 大規模乱糸グラフ上で equivariant GNN が近似可能な関数空間を明らかにする。
• 入力ノード特徴量と特に Positional Encodings (PEs) が GNN の表現力に与える影響を説明する。
• 一般的なPE設計と一般化を助ける実用的な正規化を含め、普遍性結果を拡張する。

提案手法

• グラフシフト演算子 S がノード特徴量に作用するメッセージパッシングとしてGNNをモデル化する。
• サンプリング収束を通じて潜在関数上の X に対する GNN 関数空間 F_GNN(B) を定義する。
• S の拡張 F_S(B) を、B の基底特徴集合の最小の閉包・安定拡張として、S およびリプシッツ合成により導入する。
• Assumption 1（S が連続対応物へと収束すること）を仮定して、F_GNN(B) が F_S(B) に等しいことを証明する。
• Positional Encodings を通じて基本特徴集合 B を特徴づける。固有ベクトルベースのPEや距離符号化PEを含む。
• 平方可積分関数の新しい普遍近似と集中化結果を、ReLU ベースのMLPグラフフィルタで確立する。

実験結果

リサーチクエスチョン

• RQ1 大規模な潜在位置乱糸グラフ上で permutation-equivariant GNN が近似可能な完全な関数空間は何か？
• RQ2 異なる PE がノード中心タスクにおける普遍性と表現力にどのように影響するか？
• RQ3 PE主導のGNN の収束と一般化のためにどのような正規化と濃縮性の結果が必要か？
• RQ4 Bernoulli（乱択）グラフモデル下でも ReLU ベースのグラフフィルタは頑健な濃縮性を実現できるか？
• RQ5 PE 設計はより一般的な乱糸グラフモデルへの普遍性結果を拡張・改善できるか？

主な発見

• 大規模な乱糸グラフ上でのGNNは漸近的に入力基底集合 B の S-拡張 F_S(B) を近似する。
• PEは基底空間 B を大きく形成し、それによって全体の関数空間 F_S(B) を決定づけ、表現力を有効化または制限する。
• SignNet型固有ベクトルPE は適切に正規化されると連続極限の固有関数と整列し、グラフサイズ間の符号不定を解消する。
• 固有値での距離符号化PE と eigenvalue に対するMLPフィルタは、Bernoulli乱択グラフへ普遍性を拡張する集中化結果を生む。
• ReLUフィルタを用いたBernoulli行列に対する新たな集中不等式は、提案PEスキームの理論的保証を支える。
• 理論で示唆される正規化戦略は、合成データと実データの実験で観察される一般化を改善する。