[論文レビュー] Generalization in Graph Neural Networks: Improved PAC-Bayesian Bounds on Graph Diffusion

Haotian Ju, Dongyue Li+2 more|arXiv (Cornell University)|Feb 9, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

この論文は、最大次数に依存するのではなく、グラフ拡散行列のスペクトルノルムに置き換えることで、グラフニューラルネットワーク（GNN）の一般化境界を改善する。PACベイジアン分析とヘッセ行列に基づく安定性測定を用い、上界と一致する下界を導出し、これらがスペクトルノルムに比例する。実世界のグラフ上で実証的に検証された結果、従来の手法と比べて一般化境界が桁違いに小さくなる。

ABSTRACT

Graph neural networks are widely used tools for graph prediction tasks. Motivated by their empirical performance, prior works have developed generalization bounds for graph neural networks, which scale with graph structures in terms of the maximum degree. In this paper, we present generalization bounds that instead scale with the largest singular value of the graph neural network's feature diffusion matrix. These bounds are numerically much smaller than prior bounds for real-world graphs. We also construct a lower bound of the generalization gap that matches our upper bound asymptotically. To achieve these results, we analyze a unified model that includes prior works' settings (i.e., convolutional and message-passing networks) and new settings (i.e., graph isomorphism networks). Our key idea is to measure the stability of graph neural networks against noise perturbations using Hessians. Empirically, we find that Hessian-based measurements correlate with the observed generalization gaps of graph neural networks accurately. Optimizing noise stability properties for fine-tuning pretrained graph neural networks also improves test performance on several graph-level classification tasks.

研究の動機と目的

• 最大次数に比例する既存の一般化境界の弱さ、特にしばしば空虚な境界を生じることを是正すること。
• 現実のグラフ構造をより正確に反映する、よりタイトで非空虚な一般化境界を開発すること。
• メッセージパッシング、GCN、GINモデルを含む、さまざまなGNNアーキテクチャの分析を統一的な理論的枠組みで統合すること。
• ヘッセ行列に基づく安定性とGNNにおける観察された一般化ギャップとの理論的関連を確立すること。
• ノイズ安定性を最適化することで、事前学習済みGNNのファインチューニングを改善すること。

提案手法

• GCN、メッセージパッシングネットワーク、GINを統合した一貫したモデルフレームワークを提案し、共同理論的分析を可能にする。
• PACベイジアン一般化理論を適用し、ノイズ摂動に対する安定性をもとに一般化ギャップを境界づける。
• モデル重みに関する損失関数のヘッセ行列を用いて安定性を定量化し、境界を導出する。
• 従来の境界で見られる最大次数への依存を、グラフ拡散行列 $P_G^{l-1}$ のスペクトルノルムに置き換える。
• 一般化ギャップの上界を、拡散行列のスペクトルノルム $\|P_G^{l-1}\|$ に比例する形で導出する。
• 一般化ギャップが $\|P_G^{l-1}\|$ に漸近的に比例することを示す一致する下界インスタンスを構築する。

(a) Spectral norm vs. max degree for five graphs

実験結果

リサーチクエスチョン

• RQ1 最大次数の代わりに拡散行列のスペクトルノルムを用いることで、GNNの一般化境界を改善できるか？
• RQ2 ヘッセ行列に基づく安定性と、GNNにおける実際の一般化ギャップの相関関係はいかがなっているか？
• RQ3 提案された境界は、GCN、MPNN、GINなどの異なるGNNアーキテクチャに統一的に適用可能か？
• RQ4 一般化の複雑さを測る指標として、スペクトルノルムは最大次数よりも優れているか？
• RQ5 ファインチューニング段階でノイズ安定性を最適化することで、グラフレベルのタスクにおけるテスト精度が向上するか？

主な発見

• 提案された一般化境界は、実世界のグラフでは最大次数よりも桁違いに小さいグラフ拡散行列 $P_G^{l-1}$ のスペクトルノルムに比例する。
• 実証的結果から、ヘッセ行列に基づく安定性測定と複数のGNNモデル・データセットにおける観察された一般化ギャップとの相関が強く確認された。
• 一般化ギャップの上界が漸近的に下界と一致しており、スペクトルノルムが複雑さの測度としてタイトであることが裏付けられた。
• 5つの実世界のグラフデータセットにおいて、スペクトルノルムに基づく境界は、最大次数に比例する従来の境界よりも顕著にタイトである。
• ファインチューニング段階でノイズ安定性を最適化することで、グラフレベル分類タスクにおけるテスト精度が向上し、実用的利点が示された。
• 理論的枠組みはGCN、MPNN、GINモデルの分析を統一しており、いずれのモデルにおいても $\|P_G^{l-1}\|$ に依存することが一貫して示された。

(b) Comparing generalization bounds