[論文レビュー] Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs

Chenxiao Yang, Qitian Wu+2 more|arXiv (Cornell University)|Dec 18, 2022

Advanced Graph Neural Networks被引用数 16

ひとこと要約

本論文は、標準的なMLPと同様に学習するが、推論時にメッセージパッシングを適用する、新しいモデルクラスである伝搬型MLP（PMLP）を導入する。これはGNNアーキテクチャを模倣している。主な発見は、PMLPがノード分類において常にMLPやGNNを上回る性能を示し、GNNの優れた一般化性能が学習ダイナミクスに起因するのではなく、推論時のメッセージパッシングに内在するインダクティブバイアスに起因することを示している。これは、GNNの一般化能力に関する根本的な理解を再構築するものである。

ABSTRACT

Graph neural networks (GNNs), as the de-facto model class for representation learning on graphs, are built upon the multi-layer perceptrons (MLP) architecture with additional message passing layers to allow features to flow across nodes. While conventional wisdom commonly attributes the success of GNNs to their advanced expressivity, we conjecture that this is not the main cause of GNNs' superiority in node-level prediction tasks. This paper pinpoints the major source of GNNs' performance gain to their intrinsic generalization capability, by introducing an intermediate model class dubbed as P(ropagational)MLP, which is identical to standard MLP in training, but then adopts GNN's architecture in testing. Intriguingly, we observe that PMLPs consistently perform on par with (or even exceed) their GNN counterparts, while being much more efficient in training. This finding sheds new insights into understanding the learning behavior of GNNs, and can be used as an analytic tool for dissecting various GNN-related research problems. As an initial step to analyze the inherent generalizability of GNNs, we show the essential difference between MLP and PMLP at infinite-width limit lies in the NTK feature map in the post-training stage. Moreover, by examining their extrapolation behavior, we find that though many GNNs and their PMLP counterparts cannot extrapolate non-linear functions for extremely out-of-distribution samples, they have greater potential to generalize to testing samples near the training data range as natural advantages of GNN architectures.

研究の動機と目的

• GNNがMLPよりも一般化性能に優れる理由が、アーキテクチャに起因するのか、それとも学習プロセスに起因するのかを調査すること。
• 訓練と推論のアーキテクチャを分離することで、GNNの性能におけるメッセージパッシングの役割を明確にすること。
• GNNの成功が表現力の向上に起因するという従来の考えを疑い、代わりに推論時のインダクティブバイアスに起因すると主張すること。
• GNNの行動を解明し、グラフニューラルネットワークの一般化を理解するための新しい分析フレームワーク（PMLP）を提供すること。

提案手法

• 標準的なMLPの学習（同じアーキテクチャ、データ、損失関数、最適化手法）を用いるが、推論時に非パラメトリックなメッセージパッシング層を適用するPMLPを導入する。
• グラフ構造のデータに対して標準的なMLPを学習した後、テスト時にGNN風のメッセージパッシングを適用してPMLPを構築する。
• 複数のベンチマークとアーキテクチャのバリエーションにおいて、PMLPの性能を、通常のMLPおよび完全なGNNと比較する。
• PMLPとMLPの無限幅極限を分析し、訓練後のNeural Tangent Kernel（NTK）特徴マップの違いを特定する。
• 分布シフト、特に訓練データのサポート領域近くでの一般化と外挿挙動を検証する。
• t-SNE可視化を用いて、MLP、PMLP、GNNが学習する内部ノード表現を比較し、クラス分離性を評価する。

実験結果

リサーチクエスチョン

• RQ1 GNNにおけるメッセージパッシング機構は、学習ダイナミクスとは独立して一般化性能を向上させるものなのか？
• RQ2 MLPとして学習したモデルが推論時にメッセージパッシングを適用する（PMLP）ことで、完全なGNNと同等の性能を達成できるのか？
• RQ3 GNNがMLPを上回る一般化優位性を示す主な要因は何か：表現力の向上か、推論時のインダクティブバイアスか？
• RQ4 PMLPとGNNは、特に訓練分布の近傍での分布外サンプルへの外挿能力において、どのように異なるか？
• RQ5 無限幅極限において、PMLPとMLPのNTK特徴マップにどのような相違が生じるのか？そしてそれは一般化とどのように関係するのか？

主な発見

• PMLPは、同じ重みを共有しているにもかかわらず、テスト精度において常に通常のMLPを上回る。これは、推論時のメッセージパッシングが一般化性能を inherently 向上させることを示している。
• PMLPは、ノイズが多いまたはスパarsifiedなグラフ設定下でも、対応するGNNと同等またはそれ以上の性能を示す。
• PMLPの一般化ギャップはMLPに比べて顕著に小さく、GNNアーキテクチャの推論時のインダクティブバイアスが過学習を軽減していることを示している。
• 無限幅極限において、PMLPのNTK特徴マップはMLPとは異なり、メッセージパッシング機構に起因する構造的差異が明らかになった。
• PMLPとGNNは、訓練分布の近傍のサンプルに対し滑らかに遷移し、一般化性能が優れている一方、MLPはサポート領域外で急激に線形化する。
• t-SNE可視化により、PMLPとGNNはMLPよりもより判別力があり、クラス分離性に優れたノード表現を学習していることが確認された。PMLPは訓練時においてMLPと同じ重みを使用しているにもかかわらず、そのように学習している。