[论文解读] A Flexible Generative Framework for Graph-based Semi-supervised Learning

Jiaqi Ma, Weijing Tang+2 more|arXiv (Cornell University)|May 26, 2019

Advanced Graph Neural Networks被引用 24

一句话总结

该论文提出了一种灵活的生成式框架，用于基于图的半监督学习，通过概率图模型对节点特征、标签和图结构的联合分布进行建模。通过利用可扩展的变分推断和随机图模型的洞见，该方法在基准数据集上优于最先进模型，通过更优地整合特征、标签和结构依赖关系，实现了更高的标签预测准确率。

ABSTRACT

We consider a family of problems that are concerned about making predictions for the majority of unlabeled, graph-structured data samples based on a small proportion of labeled samples. Relational information among the data samples, often encoded in the graph/network structure, is shown to be helpful for these semi-supervised learning tasks. However, conventional graph-based regularization methods and recent graph neural networks do not fully leverage the interrelations between the features, the graph, and the labels. In this work, we propose a flexible generative framework for graph-based semi-supervised learning, which approaches the joint distribution of the node features, labels, and the graph structure. Borrowing insights from random graph models in network science literature, this joint distribution can be instantiated using various distribution families. For the inference of missing labels, we exploit recent advances of scalable variational inference techniques to approximate the Bayesian posterior. We conduct thorough experiments on benchmark datasets for graph-based semi-supervised learning. Results show that the proposed methods outperform state-of-the-art models under most settings.

研究动机与目标

• 为解决在仅使用少量标注样本的情况下，对大规模未标注节点在图结构数据中进行标签预测的挑战。
• 克服传统图正则化方法和近期图神经网络在充分挖掘特征、标签与图结构之间相互关系方面的局限性。
• 开发一种统一的概率框架，以灵活且可扩展的方式对特征、标签和图拓扑的联合分布进行建模。
• 通过基于贝叶斯原理的可扩展变分推断技术，实现对缺失标签的有效推断。
• 在多样化的基于图的半监督学习基准上，证明所提出框架相较于现有最先进模型的优越性。

提出的方法

• 该框架使用受网络科学中随机图模型启发的概率图模型，对节点特征、标签和图结构的联合分布进行建模。
• 其可实例化为多种分布族，从而在图中对不同类型的关系和特征依赖关系提供灵活性。
• 采用可扩展的变分推断来近似在观测到的特征和图结构下标签的难以计算的贝叶斯后验分布。
• 该方法联合优化生成模型和变分近似中的参数，实现端到端学习。
• 通过建模节点及其属性的完整联合分布，该框架支持归纳学习和直推学习两种设置。
• 不仅将图的关系结构用作正则化项，更将其作为标签和特征生成过程的核心组成部分。

实验结果

研究问题

• RQ1 一个统一的生成模型，能够同时捕捉特征、标签和图结构，是否能优于判别性图神经网络和传统图正则化方法？
• RQ2 可扩展的变分推断在复杂、高维的图结构联合分布中，对标签后验分布的近似效果如何？
• RQ3 建模完整的联合分布在低标签数据场景下，对泛化能力和鲁棒性的提升程度如何？
• RQ4 选择不同分布族的灵活性在不同图数据集上的性能影响有多大？
• RQ5 所提出的框架在直推学习和归纳学习两种设置下是否均能保持优异性能？

主要发现

• 所提出的框架在多个基准图-based半监督学习数据集上实现了最先进性能。
• 该方法在大多数实验设置中持续优于现有最先进模型，尤其在低标签数据场景下表现更优。
• 通过联合生成模型整合特征、标签和图结构，可实现更鲁棒和准确的标签预测。
• 可扩展的变分推断实现了有效且高效的后验近似，使该方法在大规模图上具有实用性。
• 该框架在选择不同分布族方面的灵活性，使其能够适应多样的数据特征和图类型。
• 实证结果表明，建模联合分布相比将特征、标签和结构独立处理或弱耦合的方法，带来了显著性能提升。