[论文解读] Outcome Correlation in Graph Neural Network Regression.

Junteng Jia, Austin R. Benson|arXiv (Cornell University)|Feb 19, 2020

Advanced Graph Neural Networks参考文献 30被引用 5

一句话总结

该论文提出一种方法，通过参数化多元高斯分布建模结果残差中的相关性，改进图神经网络（GNN）回归，从而通过捕捉标准GNN忽略的相连节点之间的依赖关系，提升预测性能。该方法采用可扩展的线性时间算法进行参数估计，显著提升准确性。

ABSTRACT

Graph neural networks aggregate features in vertex neighborhoods to learn vector representations of all vertices, using supervision from some labeled vertices during training. The predictor is then a function of the vector representation, and predictions are made independently on unlabeled nodes. This widely-adopted approach implicitly assumes that vertex labels are independent after conditioning on their neighborhoods. We show that this strong assumption is far from true on many real-world graph datasets and severely limits predictive power on a number of regression tasks. Given that traditional graph-based semi-supervised learning methods operate in the opposite manner by explicitly modeling the correlation in predicted outcomes, this limitation may not be all that surprising. Here, we address this issue with a simple and interpretable framework that can improve any graph neural network architecture by modeling correlation structure in regression outcome residuals. Specifically, we model the joint distribution of outcome residuals on vertices with a parameterized multivariate Gaussian, where the parameters are estimated by maximizing the marginal likelihood of the observed labels. Our model achieves substantially boosts the performance of graph neural networks, and the learned parameters can also be interpreted as the strength of correlation among connected vertices. To allow us to scale to large networks, we design linear time algorithms for low-variance, unbiased model parameter estimates based on stochastic trace estimation. We also provide a simplified version of our method that makes stronger assumptions on correlation structure but is extremely easy to implement and provides great practical performance in several cases.

研究动机与目标

• 解决GNN回归中的局限性，即在给定邻域特征后假设标签独立，这一强假设通常不成立。
• 使用参数化多元高斯分布对顶点间残差的联合分布进行建模，以捕捉真实图中结果的相关性。
• 通过利用随机迹估计方法，开发可扩展的推理与学习算法，实现对大规模图的低方差、无偏参数估计。
• 提供一个通用框架以及一种简化变体，后者虽做更强假设，但实现高性能且实现开销极小。

提出的方法

• 将顶点上回归结果残差的联合分布建模为多元高斯分布，其精度矩阵由图结构参数化。
• 通过最大化观测标签的边际似然来估计模型参数，实现与GNN端到端的训练。
• 使用随机迹估计高效计算精度矩阵的迹，从而实现线性时间的参数估计。
• 设计方法的简化版本，假设所有边具有相同的关联强度，降低复杂度，同时保持出色的实证性能。
• 将残差相关性模型作为后处理层或可微分头模块，集成到任意预训练GNN之上，保持架构灵活性。
• 将学习到的精度矩阵参数解释为相连顶点间相关性强弱的度量，提供可解释性。

实验结果

研究问题

• RQ1 真实图数据集中，在给定邻域特征后，标签独立性的假设在多大程度上被违反？
• RQ2 在多种数据集上，建模GNN预测中的残差相关性是否能带来可测量的回归性能提升？
• RQ3 如何在不产生禁止性计算成本的前提下，高效估计大规模图上残差的多元高斯模型参数？
• RQ4 简化相关性结构（例如假设边的相关性恒定）对性能与可扩展性有何影响？
• RQ5 学习到的相关性参数是否可被有意义地解释为相连节点间关系影响的指标？

主要发现

• 所提方法通过捕捉此前被忽略的结果相关性，在多个真实图数据集上显著提升了GNN回归性能。
• 使用多元高斯分布建模残差可带来比标准GNN更准确的预测，后者假设标签在给定邻域下条件独立。
• 线性时间随机迹估计实现了可扩展的参数估计，使该方法适用于包含数百万个节点的大规模图。
• 该方法的简化变体（假设每条边具有统一的相关性强度）在实现开销极小的前提下实现了优异性能与高效率。
• 学习到的相关性参数具有可解释性，能反映相连节点间有意义的关系依赖，验证了模型捕捉结构关系的能力。