[論文レビュー] A PAC-Bayesian Approach to Generalization Bounds for Graph Neural Networks

Renjie Liao, Raquel Urtasun+1 more|arXiv (Cornell University)|Dec 14, 2020

Advanced Graph Neural Networks参考文献 27被引用数 13

ひとこと要約

本稿では、主にグラフ畳み込みネットワーク（GCN）とメッセージパッシングGNN（MPGNN）のPAC-Bayesian一般化バウンドを導出する。一般化誤差は重みのスペクトルノルムと最大ノード次数に支配され、全結合および畳み込みネットワークに対する先行研究を一般化し、グラフ構造および隠れ次元サイズに依存する関係をより厳密にした既存のラデマッハ複雑度バウンドを改善する。

ABSTRACT

In this paper, we derive generalization bounds for the two primary classes of graph neural networks (GNNs), namely graph convolutional networks (GCNs) and message passing GNNs (MPGNNs), via a PAC-Bayesian approach. Our result reveals that the maximum node degree and spectral norm of the weights govern the generalization bounds of both models. We also show that our bound for GCNs is a natural generalization of the results developed in arXiv:1707.09564v2 [cs.LG] for fully-connected and convolutional neural networks. For message passing GNNs, our PAC-Bayes bound improves over the Rademacher complexity based bound in arXiv:2002.06157v1 [cs.LG], showing a tighter dependency on the maximum node degree and the maximum hidden dimension. The key ingredients of our proofs are a perturbation analysis of GNNs and the generalization of PAC-Bayes analysis to non-homogeneous GNNs. We perform an empirical study on several real-world graph datasets and verify that our PAC-Bayes bound is tighter than others.

研究の動機と目的

• PAC-Bayesianフレームワークを用いてグラフニューラルネットワーク（GNN）の一般化バウンドを導出すること。
• グラフ構造、特に最大ノード次数と重みのスペクトルノルムがGNNにおける一般化に与える影響を理解すること。
• 全結合および畳み込みネットワークに対する既存の一般化バウンドをGNNに拡張し、エッジのない退化ケース（no edges）において自然な一般化であることを示すこと。
• MPGNNに対する既存のラデマッハ複雑度に基づくバウンドを、最大ノード次数および隠れ次元サイズへの依存関係を厳密にすることで改善すること。
• 非一様GNNに特化した新たな証明技術を開発すること。具体的には、ベクトル2ノルムに基づく摂動解析と、PAC-Bayes解析に適した有限被覆構成を含む。

提案手法

• Neyshaburら（2017）のPAC-BayesianフレームワークをGNNに適応させる。これは、重みのスペクトルノルム下でのReLUの非1-Lipschitz性に起因し、新たな適応が不可避である。
• ノード表現の再帰的解析を、最大ℓ₂ノルムを用いて行い、ベクトル2ノルムに基づく摂動解析を可能にすることで、直接的なスペクトルノルム摂動の制限を克服する。
• PAC-Bayes制約を満たす新たな重み依存量を導入し、非一様GNNに適した有限被覆を構成することで、MPGNNへの一般化を可能にする。
• GCNの一般化バウンドを導出。各層のスペクトルノルムの積に、d^{(l-1)/2}の係数を乗じた形となり、ここでdは最大ノード次数、lは深さである。
• MPGNNのバウンドを導出。スペクトルノルムへの類似した依存関係に加え、d^{l-1}の係数が含まれており、メッセージパッシングの累積的効果とグラフトポロジを反映する。
• 理論的フレームワークから得た式と定数を用いて、実世界および合成データセット上でバウンド値を実証的に計算・比較する。

実験結果

リサーチクエスチョン

• RQ1 最大ノード次数や重みのスペクトルノルムといったグラフ構造統計量が、GNNの一般化にどのように影響を与えるか？
• RQ2 非一様GNN（例：メッセージパッシングGNN）にPAC-Bayesianフレームワークを拡張できるか？特に、f(ax) = af(x) を満たさない場合に有効か？
• RQ3 GCNの一般化バウンドは、ReLU活性化関数を用いた全結合および畳み込みネットワークに対する既存バウンドの自然な拡張であるか？
• RQ4 提案されたMPGNN用PAC-Bayesバウンドは、Gargら（2020）のラデマッハ複雑度に基づくバウンドと比較して、どの程度タイトか？
• RQ5 理論的バウンドは、多様な実世界および合成グラフデータセットにおける実験的性能と相関するか？

主な発見

• GCNの一般化バウンドには、最大ノード次数dとネットワーク深さlの間でd^{(l-1)/2}の乗法的係数が含まれており、d=1（つまりエッジなし）の場合は標準的なReLUネットワークのバウンドに還元される。
• MPGNNのバウンドは、スペクトルノルムの幾何級数的和とd^{l-1}の係数に依存しており、層間でのメッセージパッシングの累積的効果とグラフトポロジを反映する。
• 提案されたMPGNN用PAC-Bayesバウンドは、最大ノード次数および最大隠れ次元サイズへの依存関係を厳密にすることで、ラデマッハ複雑度に基づくバウンドを改善している。
• 実世界データセット（PROTEINS, IMDB, COLLAB）における実証的評価では、PAC-Bayesバウンドが常にラデマッハバウンドよりタイトであり、l=2ではlogバウンド値が最大2.36減少、l=4では1.94減少した。
• 合成データセット（ERおよびSBM）では、l=8でdが小さい場合を除き、すべてのケースでPAC-Bayesバウンドがよりタイトであった。この例外では、d^{l-1}項のlに関する2次的依存が支配的になる。
• 実データおよび合成データ上で計算されたバウンド値は、モデルの深さとグラフの複雑さに応じて理論的バウンドが適切にスケーリングされることを確認しており、実用的妥当性を裏付ける。