[論文レビュー] Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case

Shuai Zhang, Meng Wang+3 more|arXiv (Cornell University)|Jun 25, 2020

Neural Networks and Applications被引用数 7

ひとこと要約

本稿では、1層隠れ層を持つグラフニューラルネットワーク（GNN）の学習のため、テンソル初期化と加速勾配降下法を組み合わせたアルゴリズムを提案する。この手法により、回帰問題では一般化誤差がゼロとなる真のモデルへの確実な収束が達成され、二値分類問題ではほぼゼロの誤差が得られる。アルゴリズムは、通常の勾配降下法よりも高速な線形収束レートを保証し、サンプル必要数はモデルサイズに線形に依存し、グラフの性質に依存する。

ABSTRACT

Although graph neural networks (GNNs) have made great progress recently on learning from graph-structured data in practice, their theoretical guarantee on generalizability remains elusive in the literature. In this paper, we provide a theoretically-grounded generalizability analysis of GNNs with one hidden layer for both regression and binary classification problems. Under the assumption that there exists a ground-truth GNN model (with zero generalization error), the objective of GNN learning is to estimate the ground-truth GNN parameters from the training data. To achieve this objective, we propose a learning algorithm that is built on tensor initialization and accelerated gradient descent. We then show that the proposed learning algorithm converges to the ground-truth GNN model for the regression problem, and to a model sufficiently close to the ground-truth for the binary classification problem. Moreover, for both cases, the convergence rate of the proposed learning algorithm is proven to be linear and faster than the vanilla gradient descent algorithm. We further explore the relationship between the sample complexity of GNNs and their underlying graph properties. Lastly, we provide numerical experiments to demonstrate the validity of our analysis and the effectiveness of the proposed learning algorithm for GNNs.

研究の動機と目的

• 特に1層隠れ層アーキテクチャにおいて、グラフニューラルネットワーク（GNN）の理論的一般化保証の欠如に取り組む。
• 真のGNNモデルが存在するという仮定の下で、一般化誤差がゼロとなる学習アルゴリズムを構築し、その収束を理論的に保証する。
• 加速勾配降下法とテンソル初期化を活用することで、通常の勾配降下法よりも高速な収束を達成する。
• GNN学習のサンプル必要数が、グラフの性質とモデルサイズにどのように依存するかを分析する。
• 回帰問題からの理論的分析を二値分類問題へ拡張し、十分なサンプル数のもとで真のモデルに近いモデルへの収束を示す。

提案手法

• 低ランク構造と直交基底推定を活用し、トレーニングサンプルから真のGNN重み行列を推定するため、テンソル初期化を用いる。
• GNNパラメータの最適化に加速勾配降下法（AGD）を適用し、線形収束レートを保証する。
• 学習問題を、GNNの関数的依存関係を捉える3階モーメントテンソルを用いた低ランクテンソル近似問題として定式化する。
• サンプルデータからモーメントテンソルを推定し、非凸最適化問題の凸緩和を解くことで真のパラメータを回復する。
• スペクトル解析と最適化技術を用いて、反復的に推定された部分空間と重みを改善するサブルーチンを導入する。
• トレーニングサンプル数、グラフのスペクトル特性、初期化の精度に関する条件下で収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 1層隠れ層GNNの学習アルゴリズムは、明確に定義されたデータ生成モデルのもとで、真のモデルへの一般化誤差がゼロとなる収束を達成できるか？
• RQ2 提案手法の収束レートは通常の勾配降下法と比較してどのように異なるか？加速は可能か？
• RQ3 GNN学習のサンプル必要数は、モデルサイズとグラフ構造にどのようにスケーリングされるか？
• RQ4 理論枠組みは回帰から二値分類へ拡張可能か？一般化誤差が有界となるか？
• RQ5 スペクトルギャップやノード次数分布といったグラフの性質が、GNN学習のサンプル必要数に果たす役割は何か？

主な発見

• 十分なトレーニングサンプルがある条件下で、回帰問題において提案手法は真のGNNモデルへ一般化誤差ゼロで収束する。
• 二値分類問題では、サンプル数が増加するに従い、真のモデルからの距離がゼロに収束するモデルへの収束が達成される。
• 収束レートは線形であり、加速勾配降下法により通常の勾配降下法よりも高速である。
• サンプル必要数はモデルサイズ（フィルタ数）に線形に依存し、従来の高次多項式依存と比較して最適である。
• アルゴリズムの成功はグラフのスペクトル特性に依存し、サンプル必要数は$ O( ho^3 K d ho ext{log} N) $にスケーリングする。ここで$ ho $は条件数、$ K $はフィルタ数を表す。
• テンソル初期化により、GNN重み行列の低ランク構造を正確に回復でき、局所最適解への陥落を回避する上で極めて重要である。