[論文レビュー] Stability and Generalization of Graph Convolutional Neural Networks

Saurabh Verma, Zhi-Li Zhang|arXiv (Cornell University)|May 3, 2019

Advanced Graph Neural Networks参考文献 53被引用数 12

ひとこと要約

この論文は、グラフ畳み込みニューラルネットワーク（GCNN）におけるアルゴリズム的安定性と一般化の間の最初の理論的リンクを確立した。uniform stability（一様安定性）—強力な一般化保証に不可欠な要因—が、グラフ畳み込みフィルタの最大絶対固有値に依存することを示した。理論的に、正規化されたフィルタ（例：対称正規化ラプラシアン）は安定性と一般化を保証するが、非正規化フィルタ（例：非正規化隣接行列やラプラシアン）はグラフサイズに伴い固有値が増大するため失敗する。

ABSTRACT

Inspired by convolutional neural networks on 1D and 2D data, graph convolutional neural networks (GCNNs) have been developed for various learning tasks on graph data, and have shown superior performance on real-world datasets. Despite their success, there is a dearth of theoretical explorations of GCNN models such as their generalization properties. In this paper, we take a first step towards developing a deeper theoretical understanding of GCNN models by analyzing the stability of single-layer GCNN models and deriving their generalization guarantees in a semi-supervised graph learning setting. In particular, we show that the algorithmic stability of a GCNN model depends upon the largest absolute eigenvalue of its graph convolution filter. Moreover, to ensure the uniform stability needed to provide strong generalization guarantees, the largest absolute eigenvalue must be independent of the graph size. Our results shed new insights on the design of new & improved graph convolution filters with guaranteed algorithmic stability. We evaluate the generalization gap and stability on various real-world graph datasets and show that the empirical results indeed support our theoretical findings. To the best of our knowledge, we are the first to study stability bounds on graph learning in a semi-supervised setting and derive generalization bounds for GCNN models.

研究の動機と目的

• GCNNにおける一般化と安定性の理論的理解の不足、特に半教師あり設定におけるその問題を解決すること。
• GCNNモデルにおける一般化保証の基礎として、アルゴリズム的安定性を確立すること。
• 安定性を決定づける主要なスペクトル的性質—つまり、グラフフィルタの最大絶対固有値—を同定すること。
• GCNNにおける正規化技術（例：バッチ正規化）の使用に理論的根拠を与えること。
• 実世界のグラフデータセット上で理論的発見を実証的に検証すること。

提案手法

• アルゴリズム的安定性理論を用いて、半教師あり学習設定下での単層GCNNを分析する。
• グラフ畳み込みフィルタの最大絶対固有値（または特異値）に基づいた安定性バウンドを導出する。
• 一様安定性基準を適用し、フィルタのスペクトル的性質と一般化性能の間の関連を結ぶ。
• 対称正規化グラフラプラシアンとランダムウォークベースのフィルタを、安定なフィルタの代表例として用いる。
• 学習率を固定し、バッチサイズ1で確率的勾配降下法（SGD）を用いて、キャチザーやコラなどの引用ネットワーク上でモデルを学習する。
• 一般化ギャップを訓練誤差とテスト誤差の絶対差として測定し、1つのデータポイントを摂動させた後の重みパラメータの差のL2ノルムを用いて重みの不安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みフィルタのスペクトル的性質は、GCNNのアルゴリズム的安定性にどのように影響するか？
• RQ2 GCNNモデルが一様安定性を達成する条件は何か？ これにより強力な一般化保証が可能になる。
• RQ3 なぜ正規化されたグラフフィルタ（例：対称正規化ラプラシアン）は、安定性と一般化の観点で非正規化フィルタを上回るのか？
• RQ4 固有値解析に基づいて導出された理論的安定性バウンドは、実世界のグラフデータセット上で実証的に検証可能か？
• RQ5 正規化（例：バッチ正規化）は、GCNNにおける安定性と一般化を確保するために果たす役割は何か？

主な発見

• 単層GCNNの一律安定性は、そのグラフ畳み込みフィルタの最大絶対固有値に強く依存する。
• GCNNモデルが一様安定性と強力な一般化保証を達成するのは、最大絶対固有値がグラフサイズに依存しない場合に限る。
• 対称正規化ラプラシアンやランダムウォークベースのフィルタなどの正規化されたグラフフィルタは、最大固有値がグラフサイズに依存せずに有界であるため、安定性条件を満たす。
• 非正規化フィルタ（例：非正規化隣接行列やラプラシアン）は、グラフサイズに伴い固有値が増大するため、不安定となり一般化性能が劣る。
• Citeseer、Cora、PubMedデータセットにおける実験結果から、非正規化フィルタは正規化フィルタに比べて顕著に高い一般化ギャップと、より大きな重みパラメータの不安定性を示した。
• 理論的バウンドが楽観的であるにもかかわらず、正規化フィルタでは重みパラメータの差が固定値に収束することが観測されたことから、バウンドは保守的ではあるが、依然として有効であると示唆された。