[論文レビュー] Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels

Simon S. Du, Kangcheng Hou+4 more|arXiv (Cornell University)|May 30, 2019

Advanced Graph Neural Networks参考文献 33被引用数 74

ひとこと要約

グラフニューラルネットワークの無限幅に対応するカーネルである Graph Neural Tangent Kernels (GNTK) を導入し、勾配降下法で学習するグローバルに強力なグラフ分類性能を発揮しつつ、カーネルの訓練と解析の容易さを保持します。

ABSTRACT

While graph kernels (GKs) are easy to train and enjoy provable theoretical guarantees, their practical performances are limited by their expressive power, as the kernel function often depends on hand-crafted combinatorial features of graphs. Compared to graph kernels, graph neural networks (GNNs) usually achieve better practical performance, as GNNs use multi-layer architectures and non-linear activation functions to extract high-order information of graphs as features. However, due to the large number of hyper-parameters and the non-convex nature of the training procedure, GNNs are harder to train. Theoretical guarantees of GNNs are also not well-understood. Furthermore, the expressive power of GNNs scales with the number of parameters, and thus it is hard to exploit the full power of GNNs when computing resources are limited. The current paper presents a new class of graph kernels, Graph Neural Tangent Kernels (GNTKs), which correspond to infinitely wide multi-layer GNNs trained by gradient descent. GNTKs enjoy the full expressive power of GNNs and inherit advantages of GKs. Theoretically, we show GNTKs provably learn a class of smooth functions on graphs. Empirically, we test GNTKs on graph classification datasets and show they achieve strong performance.

研究の動機と目的

• グラフカーネルの訓練の容易さと理論的保証を、表現力豊かなグラフニューラルネットワークの利点と組み合わせることを動機づける。
• 幅広いクラスのGNNをGraph Neural Tangent Kernel (GNTK) に転換する一般的なレシピを提案する。
• 特定の条件の下でGNTKが滑らかなグラフ関数を学習し、多項式のサンプル複雑性を持つ理論的保証を提供する。
• 標準的なグラフ分類ベンチマークでGNTKを実証的に検証し、最先端手法と比較する。

提案手法

• GIN、GCN、JK-Netを含む幅広いクラスのGNNを、層ごとの共分散再帰を閉形式で導出することにより対応するGNTKへ翻訳する。
• 訓練せずに解析的にペアワイズカーネル値 Theta(G, G') を計算するため、無限幅NTK理論を利用する。
• BLOCKとREADOUT操作を通じて共分散行列 Sigma と中間カーネル Theta を伝播させるための動的計画法を用いる。
• グラフ対の最終的なGNTK値を得るためのReadoutステップ（Jumping Knowledge の有無に関係なく）を提供する。
• GNNベースのGNTKの単純な一般化分析を提供し、特定のデータ生成仮定の下でサンプル複雑性を含む。

実験結果

リサーチクエスチョン

• RQ1 GNNの表現力を持ちつつ、グラフカーネルの訓練容易性と保証を保持するカーネルを構築できるか。
• RQ2 一般的なGNNアーキテクチャをどのように体系的に対応するGNTKへ翻訳し、グラフのペア類似性を効率的に計算できるか。
• RQ3 GNTKは滑らかなグラフ関数に対して理論的な一般化保証と多項式サンプル学習性を提供するか。
• RQ4 標準的なグラフ分類ベンチマークにおけるGNTKの性能は、最先端のGNNsやグラフカーネルと比べてどうなるか。

主な発見

• GNTKはCOLLABで83.6%、PTCで67.9%といった複数のグラフ分類データセットで最先端または高い性能を達成し、多くのベースラインを上回っている。
• 社会ネットワークや生物情報学グラフで、対応するGNNベースラインを上回ることが多く、いくつかの設定（例：IMDB-B）では計算がより速い場合がある。
• 多くのケースでより深い集約（ BLOCK の数が多い）とJumping Knowledgeの併用によりGNTKの性能が向上することを示しており、GNNの利点の継承を反映している。
• グラフカーネル/ GNN 融合の初の多項式サンプルサイズ一般化分析を提供し、特定のGNTK変種が多項式のサンプル複雑性で滑らかなグラフ関数を学習できることを示している。
• GNTKは訓練と解析のカーネルレベルの扱いやすさを維持しつつ、GNNsに特徴的な高次・多層情報を捉える。