[論文レビュー] Learning Theory Can (Sometimes) Explain Generalisation in Graph Neural Networks

Pascal Esser, Leena Chennuru Vankadara+1 more|arXiv (Cornell University)|Dec 7, 2021

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿では、特定の分布的仮定の下で、古典的な学習理論的測度、特に伝達的ラデマッハ複雑度が、グラフニューラルネットワーク（GNN）における一般化を効果的に説明できることを示している。本稿は、確率的ブロックモデル（SBM）上で学習されたGCNの伝達的ノード分類設定における一般化誤差の厳密な境界を提示し、グラフ構造とアーキテクチャの選択が一般化性能に与える影響を明らかにしている。

ABSTRACT

In recent years, several results in the supervised learning setting suggested that classical statistical learning-theoretic measures, such as VC dimension, do not adequately explain the performance of deep learning models which prompted a slew of work in the infinite-width and iteration regimes. However, there is little theoretical explanation for the success of neural networks beyond the supervised setting. In this paper we argue that, under some distributional assumptions, classical learning-theoretic measures can sufficiently explain generalization for graph neural networks in the transductive setting. In particular, we provide a rigorous analysis of the performance of neural networks in the context of transductive inference, specifically by analysing the generalisation properties of graph convolutional networks for the problem of node classification. While VC Dimension does result in trivial generalisation error bounds in this setting as well, we show that transductive Rademacher complexity can explain the generalisation properties of graph convolutional networks for stochastic block models. We further use the generalisation error bounds based on transductive Rademacher complexity to demonstrate the role of graph convolutions and network architectures in achieving smaller generalisation error and provide insights into when the graph structure can help in learning. The findings of this paper could re-new the interest in studying generalisation in neural networks in terms of learning-theoretic measures, albeit in specific problems.

研究の動機と目的

• 監視学習の設定を超えて、古典的な学習理論的測度がGNNの一般化を説明できるかどうかを調査すること。
• ノード分類の伝達的設定におけるグラフ畳み込みネットワーク（GCN）の一般化特性を分析すること。
• 伝達的ラデマッハ複雑度を用いて、グラフ構造とネットワークアーキテクチャが一般化誤差を最小化する役割を評価すること。
• グラフ情報とモデル設計を一般化性能に結びつける理論的枠組みを提供すること。
• 特定で明確な設定において、GNN一般化の理解に向けた学習理論的アプローチの再活性化を図ること。

提案手法

• 著者らは、伝達的ノード分類設定におけるGCNの一般化測度として、伝達的ラデマッハ複雑度を用いる。
• 確率的ブロックモデル（SBM）上で学習されたGCNの一般化誤差境界を、伝達的ラデマッハ複雑度に基づいて導出する。
• 一般化境界には、SBMのパラメータを介したグラフ構造と特徴情報の両方が組み込まれる。
• 理論的境界は、グラフサイズ、ラベル付きノード数、特徴とコミュニティ構造の整合性の変化を想定して、実験的に評価される。
• 境界のスケーリングには、モデルパラメータ制約（例：β, ω ≈ 0.1）の経験的推定値を用い、トレンドを可視化する。
• 実験は、合成的なSBMデータおよびCora引用ネットワークを用い、SGDおよびAdam最適化手法を用い、さまざまなハイパーパrameterを変化させて実施される。

実験結果

リサーチクエスチョン

• RQ1 特定の分布的仮定の下で、伝達的ラデマッハ複雑度などの古典的学習理論的測度が、GNNの一般化を説明できるか？
• RQ2 グラフ構造と特徴の整合性は、伝達的設定におけるGCNの一般化誤差にどのように影響するか？
• RQ3 深さや残差接続といったアーキテクチャの選択が、理論的境界で捉えられる一般化誤差にどの程度影響を与えるか？
• RQ4 ラベル付きノード数とグラフサイズの変化が、一般化誤差境界に与える影響は何か？
• RQ5 伝達的ラデマッハ複雑度に基づく理論的境界は、GNN性能の経験的トレンドを反映できるか？

主な発見

• 伝達的ラデマッハ複雑度は、VC次元が自明な境界を与えるのとは異なり、伝達的ノード分類設定におけるGCNの非自明な一般化誤差境界を提供する。
• 特徴とコミュニティ構造の整合性が高くなるほど、一般化誤差境界は小さくなる。
• ラベル付きノード数（m）を増やすと、一般化誤差境界が小さくなり、一般化性能の向上が示唆される。
• グラフサイズ（n）が大きくなると、一般化誤差境界が小さくなり、同じ条件下でより大きなグラフがより良い一般化を示す可能性がある。
• 残差接続やより深いアーキテクチャ（K=4）は、理論的境界がタイトになることから、一般化性能の向上と関連している。
• 理論的境界は、スラック項が1を超えるため絶対値の一致はしないが、パrameterの変化に伴う一般化誤差の正しい定性的トレンドを捉えている。