[論文レビュー] Graph Neural Tangent Kernel: Convergence on Large Graphs

Sanjukta Krishnagopal, Luana Ruiz|arXiv (Cornell University)|Jan 25, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、拡大するグラフの系列におけるグラフニューラルネットワークトランスファーヌルン・カーネル（GNTK）の極限として、グラフンニューラルトランスファーヌルン・カーネル（WNTK）を導入し、GNTKおよびその固有値が大規模グラフ極限においてWNTKに収束することを証明している。これにより、GNNのトレーニングにおける学習ダイナミクスと収束速度を、小さなグラフから大きなグラフへと転送可能となり、巨大ネットワークにおけるGNNのトレーニングに対して、より小さな代表的グラフにおけるカーネル回帰による理論的保証が得られる。

ABSTRACT

Graph neural networks (GNNs) achieve remarkable performance in graph machine learning tasks but can be hard to train on large-graph data, where their learning dynamics are not well understood. We investigate the training dynamics of large-graph GNNs using graph neural tangent kernels (GNTKs) and graphons. In the limit of large width, optimization of an overparametrized NN is equivalent to kernel regression on the NTK. Here, we investigate how the GNTK evolves as another independent dimension is varied: the graph size. We use graphons to define limit objects -- graphon NNs for GNNs, and graphon NTKs for GNTKs -- , and prove that, on a sequence of graphs, the GNTKs converge to the graphon NTK. We further prove that the spectrum of the GNTK, which is related to the directions of fastest learning which becomes relevant during early stopping, converges to the spectrum of the graphon NTK. This implies that in the large-graph limit, the GNTK fitted on a graph of moderate size can be used to solve the same task on the large graph, and to infer the learning dynamics of the large-graph GNN. These results are verified empirically on node regression and classification tasks.

研究の動機と目的

• 大規模グラフにおけるオーバーパrametrized GNNのトレーニングダイナミクスを理解すること。ここでは、従来の解析が困難である。
• グラフサイズの増大に伴うGNTKの極限挙動を、グラフンを理論的フレームワークとして用いて形式化すること。
• GNTKおよびその固有値が、明確に定義された極限対象（すなわち、グラフンNTK（WNTK））に収束することを確立し、グラフサイズ間での転送可能性を可能にすること。
• GNTKが中程度のサイズのグラフ上で学習された場合、それがはるかに大きなグラフ上でのGNNの学習ダイナミクスと収束速度を予測できることを理論的および実験的に示すこと。

提案手法

• グラフの系列がグラフンの意味で収束する場合、GNTKの極限としてグラフンNTK（WNTK）を定義する。
• グラフンおよびGNNアーキテクチャにやや弱い正則性条件が課された下で、数学的帰納法を用いてGNTKがWNTKに収束することを証明する。
• GNTKがWNTKに固有値・固有ベクトルの両方で収束することを確立し、スペクトル収束を示す。
• NTK形式を活用してGNNトレーニングのダイナミクスをカーネル回帰と関連づけ、固有値の減衰を用いた収束速度の分析を可能にする。
• グラフンサンプリングを用いて、サイズが増加するグラフの系列を生成し、GNTKおよび固有値の収束を実験的に検証する。
• GNTKを用いて小さなグラフでカーネル回帰を実行し、そのモデルをより大きなグラフに転送し、性能および収束速度の妥当性を検証する。

Figure 1: Difference between the test error achieved by the GNTK fitted on the $n$ -node graph when used for prediction the $n$ -node graph, and the test error achived by the same GNTK when used for predicition on the $N$ -node graph. (left) Opinion dynamics on geometric and SBM graphs, where the te

実験結果

リサーチクエスチョン

• RQ1 グラフサイズが増大する際、グラフニューラルトランスファーヌルン・カーネル（GNTK）は明確に定義された極限対象に収束するか？
• RQ2 学習速度が異なる固有方向に沿って変化する学習ダイナミクスに関連するGNTKのスペクトル（固有値）は、グラフが拡大するに従い極限に収束するか？
• RQ3 小さなグラフ上で学習されたGNTKを用いて、はるかに大きなグラフ上でのGNNの学習ダイナミクスと収束速度を予測できるか？
• RQ4 実世界および合成のグラフ系列において、GNTKおよびそのスペクトルの収束は実験的にどのように振る舞うか？

主な発見

• GNTKは、グラフン収束列を用いた数学的帰納法により、大規模グラフ極限においてグラフンNTK（WNTK）に収束することが証明された。
• GNTKの固有値はWNTKの固有値に収束するため、主成分に沿った収束速度といった学習ダイナミクスが、グラフサイズを越えて保存されることを示唆している。
• Cora、CiteSeer、PubMedの引用ネットワークにおいて、GNTKの主要固有値はグラフサイズが増大するに従い安定化し、1600ノードのグラフでは、PubMedを除き、全グラフ固有値の70％以内に近似されている。
• 実験的結果から、GNNおよびGNTKが小さなグラフ上で学習された場合、幅が増加するに従い出力が一致し、分散が減少することが示され、NTK近似の妥当性が裏付けられた。
• 小さなグラフ上でGNTKを用いたカーネル回帰により、大きなグラフ全体に対して同等の性能が達成され、理論的保証のもとで転送性が実証された。
• GNTKスペクトルの収束により、計算的に実行可能な小さなグラフから、巨大グラフ上でのGNN収束速度の推定が可能になった。

Figure 2: Projections of the inputs and outputs of the GNTK and GNN, and of the target or true labels onto the second eigenvector of the adjacency matrix of a $80$ -node SBM graph for widths $F=10$ (left), $F=50$ (center) and $F=250$ (right).