[论文解读] A Unifying Generative Model for Graph Learning Algorithms: Label Propagation, Graph Convolutions, and Combinations

Junteng Jia, Austin R. Benson|arXiv (Cornell University)|Jan 19, 2021

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出了一种基于高斯马尔可夫随机场（GMRFs）的统一生成模型，将标签传播、图卷积及其组合统一为单一统计框架下的条件期望。该模型实现了算法的严谨推导，解释了过平滑现象，并通过基于迹的R²近似实现了准确的性能估计，其中新提出的线性图卷积方法展现出优异的实验性能。

ABSTRACT

Semi-supervised learning on graphs is a widely applicable problem in network science and machine learning. Two standard algorithms -- label propagation and graph neural networks -- both operate by repeatedly passing information along edges, the former by passing labels and the latter by passing node features, modulated by neural networks. These two types of algorithms have largely developed separately, and there is little understanding about the structure of network data that would make one of these approaches work particularly well compared to the other or when the approaches can be meaningfully combined. Here, we develop a Markov random field model for the data generation process of node attributes, based on correlations of attributes on and between vertices, that motivates and unifies these algorithmic approaches. We show that label propagation, a linearized graph convolutional network, and their combination can all be derived as conditional expectations under our model, when conditioning on different attributes. In addition, the data model highlights deficiencies in existing graph neural networks (while producing new algorithmic solutions), serves as a rigorous statistical framework for understanding graph learning issues such as over-smoothing, creates a testbed for evaluating inductive learning performance, and provides a way to sample graphs attributes that resemble empirical data. We also find that a new algorithm derived from our data generation model, which we call a Linear Graph Convolution, performs extremely well in practice on empirical data, and provide theoretical justification for why this is the case.

研究动机与目标

• 将标签传播、图卷积及其组合等多样化的图学习算法统一到一个生成统计模型之下。
• 为图神经网络中的过平滑与欠平滑现象提供严谨的统计分析框架。
• 通过从同一分布中采样图，构建用于评估归纳学习性能的测试平台。
• 利用从GMRF模型推导出的基于迹的R²估计公式，实现对算法性能的准确预测。
• 识别并解决现有GNN的缺陷，例如在高度同质性下对邻域结构的过度记忆。

提出的方法

• 将节点属性形式化为高斯马尔可夫随机场（GMRF），其条件独立结构由图拓扑和节点特征相关性定义。
• 在GMRF模型下，推导出标签传播、图卷积及混合方法作为条件期望。
• 提出条件期望的一阶近似，推导出基于迹的R²性能估计器：$ E[R^2] \approx 1 - \frac{\mathrm{tr}(\bm{\Sigma}^{(\mathcal{A})})}{\mathrm{tr}(\bm{\Sigma}^{(0)}) - \frac{1}{|U|}\bm{1}^T\bm{\Sigma}^{(0)}\bm{1}} $。
• 将GMRF参数拟合到真实世界数据，以生成与实证数据相似的合成属性图。
• 提出一种直接从GMRF模型推导出的新线性图卷积（LGC）算法，避免非线性激活，专注于平滑性优化。
• 利用该模型分析GNN的局限性，特别是高同质性下对邻域结构的记忆化现象，并提出相应改进方案。

实验结果

研究问题

• RQ1 标签传播、图卷积及其组合能否在单一节点属性生成模型下实现统一？
• RQ2 GMRF框架如何解释并预测标签传播与图神经网络之间的性能差异？
• RQ3 GNN中过平滑现象的成因是什么？GMRF模型能否提供严谨的统计解释？
• RQ4 GMRF模型能否作为评估图算法归纳学习泛化能力的测试平台？
• RQ5 基于迹的R²估计器在合成图与真实世界图上的性能预测能力如何？

主要发现

• 所提出的GMRF模型成功地将标签传播、图卷积及其组合统一为单一概率框架下的条件期望。
• 基于迹的R²估计器在合成数据上提供了高度准确的性能预测，多种标签选择下估计值与实测R²值高度一致。
• 在真实世界数据集上，R²估计器与实测性能表现出显著正相关，尤其在如2016年美国大选和伦敦市长选举地图等线性相关数据上表现突出。
• 在CDC气候数据集上估计器表现欠佳，原因在于非线性相关性，而线性GMRF模型无法完全捕捉此类关系。
• 从GMRF模型中直接推导出的新线性图卷积（LGC）方法在实验中表现出色，充分体现了所提模型的实际价值。
• 该模型揭示，标准GNN在高同质性条件下倾向于记忆邻域结构，损害泛化能力，提示在该类场景下更简单、线性的方法可能更具鲁棒性。