[論文レビュー] Generalization bounds for graph convolutional neural networks via Rademacher complexity

Shaogao Lv|arXiv (Cornell University)|Feb 20, 2021

Advanced Graph Neural Networks参考文献 28被引用数 4

ひとこと要約

本稿は、ラデマッハ複雑度を用いて、1層の隠れ層を持つグラフ畳み込みネットワーク（GCNs）のタイトな一般化バウンドを確立する。一般化バウンドがグラフ畳み込みフィルタの最大固有値およびグラフの次数分布に明示的に依存することを示しており、上界と一致する下界を証明することで、導出された複雑度推定の最適性を示し、GCNsにおけるフィルタ設計およびグラフ構造設計の理論的裏付けを提供する。

ABSTRACT

This paper aims at studying the sample complexity of graph convolutional networks (GCNs), by providing tight upper bounds of Rademacher complexity for GCN models with a single hidden layer. Under regularity conditions, theses derived complexity bounds explicitly depend on the largest eigenvalue of graph convolution filter and the degree distribution of the graph. Again, we provide a lower bound of Rademacher complexity for GCNs to show optimality of our derived upper bounds. Taking two commonly used examples as representatives, we discuss the implications of our results in designing graph convolution filters an graph distribution.

研究の動機と目的

• 1層の隠れ層を持つGCNsのためのタイトな一般化バウンドを、ラデマッハ複雑度を用いて提供すること。
• グラフ構造、特にグラフ畳み込みフィルタの最大固有値および次数分布が一般化性能に与える影響を分析すること。
• 導出されたバウンドの最適性を示すために、ラデマッハ複雑度の上界と下界を両方確立すること。
• 一般化に与える影響を定量化することで、グラフ畳み込みフィルタおよびグラフ分布の設計を支援すること。
• 標準的なディープラーニングの設定を超えて、グラフ固有の構造的依存性を考慮した、GCN一般化の理論的理解を拡張すること。

提案手法

• スペクトルグラフ理論を用いて、パラメータノルム制約下でのGCNsの経験的ラデマッハ複雑度に対する上界を導出する。
• グラフラプラシアンおよびグラフ畳み込みフィルタのスペクトル特性を用いて、仮説クラスの複雑度を特徴付ける。
• 対称化および収縮の議論を適用し、最大固有値および次数分布を介して期待ラデマッハ複雑度をバウンドする。
• 入力特徴を巧みに選択し、フィルタ行列の構造を活用することで、ラデマッハ複雑度に対する下界を構築する。
• 上界と下界がオーダーの意味で一致することを示し、導出された複雑度バウンドの最適性を証明する。
• 一般結果の意味を明確化するために、一般的な2種類のグラフ畳み込みフィルタ—非正規化（A+I）および正規化（D⁻¹A+I）—を分析する。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みフィルタの最大固有値は、GCNsの一般化性能にどのように影響するか？
• RQ2 グラフの次数分布は、GCNsのラデマッハ複雑度および一般化バウンドにどのような影響を及ぼすか？
• RQ3 1層の隠れ層を持つGCNsに対して、タイトな上界と下界をラデマッハ複雑度について導出できるか？ そのバウンドの最適性を示せるか？
• RQ4 非正規化フィルタと正規化フィルタの違いは、GCNsにおける一般化ギャップにどのように影響するか？
• RQ5 正則性やランダムグラフモデル（例：Erdős–Rényi）といったグラフ構造の特性は、一般化バウンドにどの程度影響を及ぼすか？

主な発見

• GCNsの一般化バウンドは、O(λ_max(g(L)) q^{3/2} m^{-1/2}) のスケーリングを示す。ここで λ_max はグラフフィルタの最大固有値、q は最大次数である。
• エッジ確率が Ω(log n / n) のErdős–Rényiグラフでは、非正規化フィルタ（A+I）のもとでバウンドは O(log^{5/2}(n) m^{-1/2}) となる。
• 次数が有界（q=O(1)）な正則グラフでは、バウンドは O(m^{-1/2}) に簡略化され、グラフサイズ n に依存せず、標準的なユークリッド空間のディープラーニングモデルと一致する。
• 正規化フィルタ（D⁻¹A+I）を用いることで、Erdős–Rényiグラフではバウンドが O(log^{3/2}(n) m^{-1/2}) に改善され、非正規化の場合に比べて log(n) の改善が得られる。
• ラデマッハ複雑度の下界が上界とオーダーの意味で一致しており、導出された上界が最適であることが証明されている。
• 結果から、グラフフィルタのスペクトル的性質および次数分布が、GCNsにおける一般化誤差を制御する上で重要な要因であることが示された。