[论文解读] GMNN: Graph Markov Neural Networks

Meng Qu, Yoshua Bengio+1 more|arXiv (Cornell University)|May 15, 2019

Advanced Graph Neural Networks被引用 146

一句话总结

GMNN 将条件随机场与图神经网络在变分 EM 框架中结合起来，联合建模标签依赖性并学习关系数据的对象表示，以用于半监督学习。

ABSTRACT

This paper studies semi-supervised object classification in relational data, which is a fundamental problem in relational data modeling. The problem has been extensively studied in the literature of both statistical relational learning (e.g. relational Markov networks) and graph neural networks (e.g. graph convolutional networks). Statistical relational learning methods can effectively model the dependency of object labels through conditional random fields for collective classification, whereas graph neural networks learn effective object representations for classification through end-to-end training. In this paper, we propose the Graph Markov Neural Network (GMNN) that combines the advantages of both worlds. A GMNN models the joint distribution of object labels with a conditional random field, which can be effectively trained with the variational EM algorithm. In the E-step, one graph neural network learns effective object representations for approximating the posterior distributions of object labels. In the M-step, another graph neural network is used to model the local label dependency. Experiments on object classification, link classification, and unsupervised node representation learning show that GMNN achieves state-of-the-art results.

研究动机与目标

• 在关系图上提出半监督对象分类的动机，并将 SRL 与 GNN 结合起来。
• 在变分 EM 框架中使用条件随机场来建模联合标签分布。
• 利用两种图神经网络：一种用于推断后验标签分布，另一种用于建模局部标签依赖。
• 通过用神经网络学习条件分布来避免手工设计的势函数。
• 在对象分类、链路分类和无监督节点表示任务上展示最先进或具有竞争力的性能。

提出的方法

• 使用条件随机场定义 p(y_V | x_V)，并通过变分 EM 进行优化。
• E 步：用图神经网络（GNN）学习表示，并通过 q_theta(y_U | x_V) 来近似后验 p(y_U | y_L, x_V)。
• M 步：用另一种 GNN 通过 p_phi(y_n | y_NB(n), x_V) 来建模局部标签依赖。
• 对推断使用均场近似，并用伪似然目标函数来训练 p_phi；q_theta 由另一台 GNN 进行摊销。
• 交替进行 E 步和 M 步，通常用 q_theta 进行最终标注。
• 可选地通过将 GMNN 应用于线图或邻居预测任务，将其扩展到无监督节点表示学习和链路分类。

实验结果

研究问题

• RQ1 将 SRL 风格的标签依赖性与基于 GNN 的表示结合起来的联合模型，是否能够提升在关系图上的半监督对象分类？
• RQ2 使用含有两个 GNN（推断和依赖建模）的变分 EM 训练过程，是否优于端到端 GNN 和传统的 SRL 方法？
• RQ3 与基线相比，GMNN 在对象分类、无监督节点表示学习和链路分类中的表现如何？

主要发现

类别	算法	Cora	Citeseer	Pubmed
SSL	LP	74.2	56.3	71.6
SRL	PRM	77.0	63.4	68.3
SRL	RMN	71.3	68.0	70.7
SRL	MLN	74.6	68.0	75.3
GNN	Planetoid *	75.7	64.7	77.2
GNN	GCN *	81.5	70.3	79.0
GNN	GAT *	83.0	72.5	79.0
GMNN	W/o Attr. in p_phi	83.4	73.1	81.4
GMNN	With Attr. in p_phi	83.7	72.9	81.8
Best results	-	83.7	73.6	81.9

• GMNN 在对象分类基准测试（Cora、Citeseer、Pubmed）上达到与最先进方法相当的结果。
• 在将标签依赖引入 p_phi 时，GMNN 的变体相较于基线 GNN 表现出改进（有属性和无属性两种情形）。
• 在无监督节点表示学习中，同时具有 q_theta 和 p_phi 的 GMNN 可匹配或超过若干强基线。
• 在链路分类任务中，GMNN 展现了使用线图变换的竞争性性能。
• 该方法除了标准的半监督节点分类外，还可泛化到无监督和链路预测任务。