[論文レビュー] Generalization Analysis of Message Passing Neural Networks on Large Random Graphs

Sohir Maskey, Ron Levie+2 more|arXiv (Cornell University)|Feb 1, 2022

Machine Learning and ELM被引用数 4

ひとこと要約

本稿は、グラフオンとして抽出された確率的ブロックモデル（stochastic block models）から得られる大規模なランダムグラフに対して、メッセージパッシングニューラルネットワーク（MPNNs）の一般化境界を提示する。一般化誤差は、訓練データが少ない場合でもグラフサイズが増加するにつれて減少することが示され、これはMPNNとその幾何的グラフオン対応物との間の一様収束に起因する。主な貢献は、平均グラフサイズに応じて減少する一般化境界を導出したことであり、従来の手法に比べてよりタイトな理論的保証を提供する。

ABSTRACT

Message passing neural networks (MPNN) have seen a steep rise in popularity since their introduction as generalizations of convolutional neural networks to graph-structured data, and are now considered state-of-the-art tools for solving a large variety of graph-focused problems. We study the generalization error of MPNNs in graph classification and regression. We assume that graphs of different classes are sampled from different random graph models. We show that, when training a MPNN on a dataset sampled from such a distribution, the generalization gap increases in the complexity of the MPNN, and decreases, not only with respect to the number of training samples, but also with the average number of nodes in the graphs. This shows how a MPNN with high complexity can generalize from a small dataset of graphs, as long as the graphs are large. The generalization bound is derived from a uniform convergence result, that shows that any MPNN, applied on a graph, approximates the MPNN applied on the geometric model that the graph discretizes.

研究の動機と目的

• MPNNのグラフ分類および回帰タスクにおける一般化行動を理解すること。
• 任意の分布ではなく、ランダムグラフモデル（例：グラフオン）からのサンプリングとしてグラフをモデル化することで、よりタイトな一般化境界を構築すること。
• 一般化誤差が訓練サンプルの増加だけでなく、平均グラフサイズの増加とも相関することを示すこと。
• 有限グラフ上のMPNNとその背後にある幾何的グラフオンモデルとの間の均一収束を確立すること。
• 平均グラフサイズの増加に伴い減少する一般化境界を導出することにより、従来の境界がグラフの複雑さに伴い増加するのとは対照的に、より優れた境界を得ること。

提案手法

• グラフを連続的な幾何的構造からのi.i.d. ノード集合の抽出として扱い、確率的ブロックモデル（グラフオン）からのランダムサンプルとしてモデル化する。
• 一様収束理論を適用し、有限グラフに適用された任意のMPNNが、背後にあるグラフオンモデルに適用されたMPNNを近似できることを示す。
• ドルーディの不等式とサブガウス型濃縮を用いて、MPNNクラス全体における経験的損失と期待損失の差の上界を評価する。
• 一般化誤差の境界を $ GE^2 \leq \frac{C}{m} q(N) $ の形で導出する。ここで $ q(N) $ は平均グラフサイズ $ N $ とともに減少するが、従来の境界とは異なり、$ N $ とともに増加しない。
• MPNNにおける平均アグリゲーションを採用し、グラフオンおよびネットワーク関数のリプシッツ連続性を仮定することで、確率過程におけるサブガウス型の増分を保証する。
• 一般化誤差をグラフサイズおよびグラフオンのリプシッツノルムに対してプロットすることで、境界の妥当性を実証的に検証し、$ N $ の増加に伴い境界が減少することが確認された。

実験結果

リサーチクエスチョン

• RQ1 訓練データ内のグラフサイズが大きくなるにつれて、MPNNの一般化誤差はどのように変化するか？
• RQ2 任意のデータ分布ではなく、生成モデル（例：グラフオン）を仮定することで、よりタイトな一般化境界を導出できるか？
• RQ3 訓練サンプル数が少ない場合でも、グラフサイズの増加により一般化誤差が低下するか？
• RQ4 MPNNアーキテクチャの複雑さとグラフサイズが、一般化性能に与える影響は何か？
• RQ5 有限グラフとその背後にある幾何的モデル（グラフオン）との間で、一様収束を確立でき、よりタイトな境界を導出できるか？

主な発見

• 訓練サンプル数が少ない場合でも、MPNNの一般化誤差は平均グラフサイズが増加するにつれて減少する。
• 導出された一般化境界は、平均ノード数 $ N $ に伴い減少するが、従来の境界とは異なり、$ N $ あるいは平均次数に伴い増加しない。
• 境界は、有限グラフ上のMPNNとその対応するグラフオンモデルとの間の均一収束に基づき、ドルーディの不等式とサブガウス型濃縮を用いて導出された。
• 実験結果により、一般化境界がグラフサイズの増加に伴い減少することが確認され、図4および図5に明確な逆関係が観察された。
• 図6に示されるように、グラフオンのリプシッツノルムが低い場合にも境界が減少し、滑らかなグラフオン構造がより良い一般化をもたらすことが示された。
• 本分析により、背後にあるグラフオンモデルの幾何的規則性のおかげで、MPNNが小さなデータセットからも良好に一般化できることの理論的根拠が得られた。