[论文解读] Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case

Shuai Zhang, Meng Wang+3 more|arXiv (Cornell University)|Jun 25, 2020

Neural Networks and Applications被引用 7

一句话总结

该论文提出了一种张量初始化与加速梯度下降算法，用于训练单隐藏层图神经网络（GNN），在回归任务中实现对真实模型的可证明收敛且泛化误差为零，在二分类任务中实现接近零的误差。该方法确保了线性收敛速度，快于原始梯度下降，样本复杂度与模型大小呈线性关系，并依赖于图的性质。

ABSTRACT

Although graph neural networks (GNNs) have made great progress recently on learning from graph-structured data in practice, their theoretical guarantee on generalizability remains elusive in the literature. In this paper, we provide a theoretically-grounded generalizability analysis of GNNs with one hidden layer for both regression and binary classification problems. Under the assumption that there exists a ground-truth GNN model (with zero generalization error), the objective of GNN learning is to estimate the ground-truth GNN parameters from the training data. To achieve this objective, we propose a learning algorithm that is built on tensor initialization and accelerated gradient descent. We then show that the proposed learning algorithm converges to the ground-truth GNN model for the regression problem, and to a model sufficiently close to the ground-truth for the binary classification problem. Moreover, for both cases, the convergence rate of the proposed learning algorithm is proven to be linear and faster than the vanilla gradient descent algorithm. We further explore the relationship between the sample complexity of GNNs and their underlying graph properties. Lastly, we provide numerical experiments to demonstrate the validity of our analysis and the effectiveness of the proposed learning algorithm for GNNs.

研究动机与目标

• 解决图神经网络（GNN）在理论泛化性保证方面的不足，特别是针对单隐藏层架构。
• 开发一种学习算法，在假设真实模型存在且泛化误差为零的前提下，可证明收敛到真实GNN模型。
• 通过利用加速梯度下降与张量初始化，实现收敛速度优于原始梯度下降。
• 分析GNN的样本复杂度与底层图性质及模型大小的关系。
• 将理论分析从回归任务扩展到二分类任务，表明在足够样本下，收敛到与真实模型任意接近的模型。

提出的方法

• 使用张量初始化从训练样本中估计真实GNN权重矩阵，利用低秩结构与正交基估计。
• 应用加速梯度下降（AGD）优化GNN参数，确保线性收敛速率。
• 将学习问题形式化为低秩张量逼近任务，其中三阶矩张量捕捉GNN的功能依赖关系。
• 从采样数据中估计矩张量，并通过求解非凸优化问题的凸松弛形式恢复真实参数。
• 引入子程序，通过谱方法与优化技术迭代精化估计的子空间与权重。
• 在训练样本数量、图的谱性质及初始化精度满足特定条件下，证明收敛性。

实验结果

研究问题

• RQ1 在明确定义的数据生成模型下，单隐藏层GNN的学习算法能否收敛到真实模型且泛化误差为零？
• RQ2 与原始梯度下降相比，所提算法的收敛速率如何？是否可实现加速？
• RQ3 GNN学习的样本复杂度如何随模型大小与图结构变化？
• RQ4 该理论框架能否从回归任务扩展到二分类任务，并实现有界泛化误差？
• RQ5 图的性质（如谱隙与节点度分布）在决定GNN学习样本复杂度方面起什么作用？

主要发现

• 在足够训练样本下，所提算法在回归问题中可收敛到真实GNN模型，且泛化误差为零。
• 在二分类任务中，算法收敛到的模型与真实模型之间的距离随样本数量增加而趋近于零。
• 收敛速率为线性，且快于原始梯度下降，通过加速梯度下降实现。
• 样本复杂度与模型大小（滤波器数量）呈线性关系，相比先前工作中高阶多项式依赖关系，该结果为最优。
• 算法的成功依赖于图的谱性质，样本复杂度为 $ O( ho^3 K d ho \text{log} N) $，其中 $ \rho $ 为条件数，$ K $ 为滤波器数量。
• 张量初始化能够准确恢复GNN权重矩阵的低秩结构，这对避免陷入不良局部极小值至关重要。