[论文解读] Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes

Jilin Hu, Jianbing Shen+2 more|arXiv (Cornell University)|Feb 26, 2020

Advanced Graph Neural Networks参考文献 39被引用 9

一句话总结

本文提出GPGC，一种具有无限宽层的图卷积网络（GCN），在数学上等价于高斯过程（GP），可通过GP回归实现半监督节点分类。通过推导ReLU激活下核矩阵计算的迭代解析形式，GPGC在引文和图像数据集上实现了最先进性能，同时保持了高训练效率，相比GCN及其他SOTA方法具有更短的推理时间。

ABSTRACT

Graph convolutional neural networks~(GCNs) have recently demonstrated promising results on graph-based semi-supervised classification, but little work has been done to explore their theoretical properties. Recently, several deep neural networks, e.g., fully connected and convolutional neural networks, with infinite hidden units have been proved to be equivalent to Gaussian processes~(GPs). To exploit both the powerful representational capacity of GCNs and the great expressive power of GPs, we investigate similar properties of infinitely wide GCNs. More specifically, we propose a GP regression model via GCNs~(GPGC) for graph-based semi-supervised learning. In the process, we formulate the kernel matrix computation of GPGC in an iterative analytical form. Finally, we derive a conditional distribution for the labels of unobserved nodes based on the graph structure, labels for the observed nodes, and the feature matrix of all the nodes. We conduct extensive experiments to evaluate the semi-supervised classification performance of GPGC and demonstrate that it outperforms other state-of-the-art methods by a clear margin on all the datasets while being efficient.

研究动机与目标

• 为图卷积网络建立理论基础，通过研究其在无限宽极限下的行为，弥合理论空白。
• 在图基半监督学习中，建立无限宽GCN与高斯过程之间的正式等价性。
• 推导在ReLU激活下，GCN中核矩阵计算的解析可处理形式。
• 开发一种基于GP的回归框架，利用图结构和标注节点，预测未观测节点的标签。
• 证明无限宽GCN在准确率和效率上均优于有限宽度模型及现有SOTA方法。

提出的方法

• 形式化具有无限宽层的GCN的GP先验，证明在特定初始化下与GP等价。
• 利用ReLU激活，推导核矩阵计算的迭代解析表达式，实现高效计算。
• 将半监督节点分类重构为多输出GP回归问题，结合观测标签与图结构。
• 基于观测标签和节点特征，使用GP框架计算未观测节点标签的后验均值与协方差。
• 利用邻接矩阵的稀疏性，确保在核计算与预测过程中保持计算效率。
• 实现两种变体：GPGC-small（适用于小图）与GPGC-big（适用于大图），均采用解析核计算。

实验结果

研究问题

• RQ1 能否证明具有无限宽层的图卷积网络与高斯过程等价？
• RQ2 无限宽GCN在ReLU激活下的核矩阵具有何种解析形式？
• RQ3 从无限宽GCN导出的基于GP的框架在半监督节点分类中的表现，相较于现有方法如何？
• RQ4 增加GCN中的隐藏单元数量是否能提升性能，且无限宽极限是否代表最优配置？
• RQ5 通过利用稀疏性与解析核计算，该方法能否在极短训练时间内实现高准确率？

主要发现

• GPGC-big在所有基准数据集上均达到最先进性能，显著优于GCN、GAT、GGP及其他SOTA方法。
• 在Cora、Citeseer和Pubmed上，GPGC-big分别达到83.6%、72.1%和79.6%的准确率，超越GCN及其他基线方法。
• GPGC-big在Cora和Citeseer上训练时间不足2秒，在Pubmed上为46.2秒，远快于GAT和GGP（均超过1000秒）。
• 随着GCN中隐藏单元数量的增加，性能单调提升，无限宽极限在所有数据集上均达到最高准确率。
• 仅使用200个标注样本时，GPGC-big在MNIST上达到98.5%准确率，SVHN上为88.1%，CIFAR10上为70.4%，优于标准GCN。
• 解析核计算使训练与推理高效，尽管基于理论基础，该方法在大规模图上仍具实用性。