[论文解读] Explainable, Stable, and Scalable Graph Convolutional Networks for Learning Graph Representation

Ping-En Lu, Cheng‐Shang Chang|arXiv (Cornell University)|Sep 22, 2020

Advanced Graph Neural Networks参考文献 50被引用 7

一句话总结

本文提出了两种新颖的图卷积网络——CAFE-GCN 和 sphere-GCN——通过利用网络嵌入、迹最大化与模块度矩阵矩阵分解之间的等价性，学习稳定、可解释且可扩展的节点表征。两种方法均通过稀疏图上的线性时间算法近似模块度矩阵的主导特征向量，在节点分类和链接预测任务中实现最先进性能，同时通过基于聚类的特征学习实现降维与可解释性。

ABSTRACT

The network embedding problem that maps nodes in a graph to vectors in Euclidean space can be very useful for addressing several important tasks on a graph. Recently, graph neural networks (GNNs) have been proposed for solving such a problem. However, most embedding algorithms and GNNs are difficult to interpret and do not scale well to handle millions of nodes. In this paper, we tackle the problem from a new perspective based on the equivalence of three constrained optimization problems: the network embedding problem, the trace maximization problem of the modularity matrix in a sampled graph, and the matrix factorization problem of the modularity matrix in a sampled graph. The optimal solutions to these three problems are the dominant eigenvectors of the modularity matrix. We proposed two algorithms that belong to a special class of graph convolutional networks (GCNs) for solving these problems: (i) Clustering As Feature Embedding GCN (CAFE-GCN) and (ii) sphere-GCN. Both algorithms are stable trace maximization algorithms, and they yield good approximations of dominant eigenvectors. Moreover, there are linear-time implementations for sparse graphs. In addition to solving the network embedding problem, both proposed GCNs are capable of performing dimensionality reduction. Various experiments are conducted to evaluate our proposed GCNs and show that our proposed GCNs outperform almost all the baseline methods. Moreover, CAFE-GCN could be benefited from the labeled data and have tremendous improvements in various performance metrics.

研究动机与目标

• 解决现有图神经网络在大规模图表示学习中可解释性不足和可扩展性差的问题。
• 在采样图中建立网络嵌入、迹最大化与模块度矩阵矩阵分解之间的理论等价性。
• 通过近似模块度矩阵的主导特征向量，开发基于 GCN 的算法，生成稳定、可扩展且可解释的节点表征。
• 通过稀疏图上的线性时间实现，实现降维，并提升节点分类与链接预测任务的性能。

提出的方法

• 将采样图中的网络嵌入问题形式化为等价的约束优化问题，将其与模块度矩阵的迹最大化及矩阵分解联系起来。
• 提出 CAFE-GCN，利用聚类结果作为特征嵌入，并将 Softmax 聚类算法视为一类特殊的 GCN，以近似主导特征向量。
• 引入 sphere-GCN，一种稳定的迹最大化算法，通过迭代更新节点表征，使其与模块度矩阵的主导特征向量对齐。
• 通过利用图的稀疏性，推导出两种算法的线性时间实现，确保在包含数百万个节点的大规模图上的可扩展性。
• 利用特征向量的正交基与模块度矩阵的谱性质，证明收敛性与近似误差界。
• 在 sphere-GCN 中应用重归一化与凸组合更新，确保迹目标函数的单调提升。

实验结果

研究问题

• RQ1 在采样图中，网络嵌入问题能否等价地表述为模块度矩阵的迹最大化与矩阵分解问题？
• RQ2 如何系统性地利用聚类结果，在 GCN 框架中生成可解释且稳定的节点嵌入？
• RQ3 能否设计出基于模块度矩阵特征向量近似的线性时间算法，以确保在大规模稀疏图上的可扩展性？
• RQ4 所提出的 GCN 在节点分类与链接预测任务中，相较于现有方法的性能提升程度如何？
• RQ5 在半监督设置下，引入标注数据在 CAFE-GCN 中在多大程度上提升了性能？

主要发现

• 在基准数据集上，sphere-GCN 在节点分类与链接预测任务中几乎优于所有基线方法。
• CAFE-GCN 在 Cora 数据集上实现了接近最先进水平的性能，且无需使用辅助信息即可匹配 SplineCNN 的表现。
• 在有标注数据时，半监督 CAFE-GCN 在多个指标上均表现出显著提升。
• CAFE-GCN 与 sphere-GCN 均具备在学习节点表征的同时实现有效降维的能力。
• 理论分析证实，sphere-GCN 单调增加迹目标函数，确保收敛性与稳定性。
• 两种算法的线性时间实现对稀疏图可行，使它们能够扩展至包含数百万个节点的大规模图。